-
公开(公告)号：CN118364478A
公开(公告)日：2024-07-19
申请号：CN202310096060.7
申请日：2023-01-18
Applicant: 杭州海康威视数字技术股份有限公司 , 浙江大学
Abstract: 本申请提供一种数据处理方法、系统及设备，该方法包括：获取待训练网络模型对应的目标梯度数据；将目标梯度数据发送给GPU，通过GPU对所述目标梯度数据进行加密，得到加密后梯度数据，并从GPU获取所述加密后梯度数据；将加密后梯度数据发送给服务端，由服务端对多个客户端的加密后梯度数据进行同态运算，得到加密后的聚合梯度数据；从服务端获取加密后的聚合梯度数据，将加密后的聚合梯度数据发送给GPU，通过GPU对加密后的聚合梯度数据进行解密，得到解密后的聚合梯度数据，并从GPU获取聚合梯度数据；基于聚合梯度数据对待训练网络模型进行训练，得到已训练的目标网络模型。通过本申请的技术方案，能够满足数据隐私需求，保证数据安全。
-
公开(公告)号：CN111090705B
公开(公告)日：2023-08-25
申请号：CN201811236196.9
申请日：2018-10-23
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/28 , G06F16/2455
Abstract: 本发明提供一种多维数据处理方法、装置及设备、存储介质，该方法包括：确定读取的多维数据所属的数据层级，并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据；将所述cube数据存入本地的目标层级缓存区中，所述目标层级缓存区是本地的与cube数据所属的数据层级对应的层级缓存区；判断所述目标层级缓存区中所述缓存的数据量是否达到指定阈值，若是，则将所述目标层级缓存区中缓存的数据转存至目标数据库的与所述数据层级对应的层级数据库表中。避免因多维数据的无差别聚合及存储而导致的查询cube数据时数据量大的问题，有利于提升查询效率。
-
公开(公告)号：CN112784996B
公开(公告)日：2023-06-02
申请号：CN202011637601.5
申请日：2020-12-31
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种基于图表征的机器学习方法及系统。其中，所述方法包括：所述第一设备通过所述机器学习框架对原始数据进行预处理；所述第一设备控制所述机器学习框架将经过预处理得到的处理后数据经由所述第一套接字和所述第二套接字传输至所述图表征框架；所述第二设备通过所述图表征框架对所述处理后数据进行图表征处理；所述第二设备控制所述图表征框架将经过图表征处理得到的图表征经由所述第二套接字和所述第一套接子传输至所述机器学习框架；所述第一设备控制所述机器学习框架基于所述图表征对所述原始数据所属对象进行处理。可以提高机器学习中算法模型的性能。
-
公开(公告)号：CN112307122B
公开(公告)日：2023-06-02
申请号：CN202011193306.5
申请日：2020-10-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/21
Abstract: 本发明实施例提供了一种基于数据湖的数据管理系统及方法，涉及大数据技术领域。该系统包括：多个计算引擎、多个数据源以及虚拟引擎装置；每个计算引擎，用于向虚拟引擎装置发送数据访问请求和待访问的数据源的标识信息，并接收虚拟引擎装置反馈的与数据访问请求对应的响应结果；虚拟引擎装置，用于向具有标识信息的数据源发送数据访问请求；以及，将具有标识信息的数据源反馈的响应结果，反馈至发出数据访问请求的计算引擎；每个数据源，用于确定数据访问请求对应的响应结果，并将所确定的响应结果反馈给虚拟引擎装置。与现有技术相比，应用本发明实施例提供的方案，可以实现减少基于数据湖的数据管理系统构建过程中的重复开发工作。
-
公开(公告)号：CN115130642A
公开(公告)日：2022-09-30
申请号：CN202110328439.7
申请日：2021-03-26
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种图卷积神经网络训练和图运算方法、装置、设备及系统中，通过对全图进行切割，得到多个子图，并针对每个子图，获得该子图中各节点在全图中的度，将各子图分发到各训练设备进行训练，并且在下发子图的同时下发获得的该子图中各节点的度，各训练设备利用本地的图卷积神经网络对该子图进行前馈计算时，由于是基于全图的度进行计算的，能够保证得到的节点输出特征与全图的节点输出特征一致，则在对图卷积神经网络进行训练的过程中，相当于是基于全图对图卷积神经网络进行训练，且由于子图的数据量远小于全图的数据量，利用多个训练设备的分布式训练方式，实现了基于大数量级的图对图卷积神经网络模型进行训练的目的。
-
Patent Agency Ranking
公开(公告)号：CN110971627B
公开(公告)日：2022-08-05
申请号：CN201811143461.9
申请日：2018-09-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请是关于一种节点控制方法及装置、任务处理系统，所述任务处理系统包括：n个节点，n个节点组成m个节点集合，n＞m≥2；每个节点集合包括：管理节点和代理节点，任务处理系统中的所有管理节点包括：一个主管理节点和多个从管理节点，主管理节点用于在接收到处理任务的指令时，向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令；每个从管理节点用于在接收到主管理节点发送的指令时，向与每个从管理节点属于同一节点集合的代理节点发送指令；每个代理节点用于在接收到指令时，根据指令处理任务。本申请解决了相关技术中任务处理系统的处理效率较低的问题，本申请用于控制节点。
-
公开(公告)号：CN113626491A
公开(公告)日：2021-11-09
申请号：CN202010388675.3
申请日：2020-05-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2458 , G06F16/242 , G06F16/2453
Abstract: 本发明实施例提供了一种数据查询方法、装置、分布式数据查询系统。方法包括：按照第一谓词判断顺序，依次对每个原始数据进行查询，以确定该原始数据是否为同时命中多个谓词的目标数据，直至已经查询的原始数据的数量满足预设顺序更替条件或完成所有原始数据的查询；当已经查询的原始数据的数量满足预设顺序更替条件时，针对所述多个谓词中的每个谓词，根据已经查询的原始数据的数据特征，计算该谓词的当前得分；依据每个谓词的所述当前得分所表示的效率由高到低的顺序，生成第二谓词判断顺序；将所述第二谓词判断顺序作为新的第一谓词判断顺序，返回执行所述按照第一谓词判断顺序，依次对每个原始数据进行查询的步骤。可以提高数据查询效率。
-
公开(公告)号：CN112035261A
公开(公告)日：2020-12-04
申请号：CN202010954887.3
申请日：2020-09-11
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了数据处理方法及系统，基于CPU的分布式大数据处理框架集群包括多个预处理进程，每个预处理进程分别对自身对应的缓存分区中的样本数据进行处理，当任一缓存分区的样本数据处理完成后，将针对该一缓存分区预处理得到的数据发送给基于GPU的深度学习框架集群，深度学习框架集群在接收到分区预处理数据后即时对深度学习模型进行训练。每完成针对单个缓存分区预处理便进行数据传输，减少了大数据处理框架集群因将分布在各个预处理进程中的数据统一收集而造成的性能耗时，同时先预处理完成的分区预处理数据可以先传输给深度学习框架集群进行训练，能够增加深度学习模型的训练效率。
-
公开(公告)号：CN109033109B
公开(公告)日：2020-11-27
申请号：CN201710434019.0
申请日：2017-06-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/242 , G06F16/182
Abstract: 本申请公开了一种数据处理方法及系统，属于大数据领域，以动态生成有向无环图。所述方法包括：接收第一SQL操作指令；根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；接收与所述第一有向无环图中指定节点对应的第二SQL操作指令；根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。
-
公开(公告)号：CN106959963A
公开(公告)日：2017-07-18
申请号：CN201610017764.0
申请日：2016-01-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/30
Abstract: 本发明实施例提供的一种数据查询方法、装置及系统，应用于分布式数据存储系统中的查询服务器，该方法包括：接收客户端发送的连接请求后，建立与客户端之间的通信连接；接收客户端发送查询请求，其中，查询请求中携带待查询字段的标识、字段值、针对待查询字段的查询条件以及待查询字段之间的查询关系；判断查询请求中携带的待查询字段的标识对应的待查询字段是否全部为预设字段；若为是，根据查询请求中携带的待查询字段的标识、待查询字段的字段值在该查询服务器中已存储的索引信息中进行查询，获得索引信息，并根据所获得的索引信息生成查询结果。应用本发明实施例，可以通过查询索引信息的方式快速获得待查询数据的查询结果。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.039 seconds)
