-
公开(公告)号：CN108804459B
公开(公告)日：2020-10-09
申请号：CN201710302039.2
申请日：2017-05-02
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/2455 , G06F16/2453
Abstract: 本发明公开了一种数据查询方法及装置，属于数据处理领域。该方法包括：当接收到结构化查询语言SQL查询语句时，确定SQL查询语句所要查询的目标数据表；根据SQL查询语句中包括的维度和度量，从目标数据表的至少一个预统计信息中确定目标预统计信息；根据SQL查询语句和目标预统计信息获取聚合查询结果。由于该至少一个预统计信息是对目标数据表中的数据预先进行聚合运算得到的，因此，当根据该SQL查询语句确定目标预统计信息之后，可以从该目标预统计信息中直接获取部分或者全部的聚合查询结果，省去了从目标数据表中获取数据并对大量数据进行实时运算的过程，缩短了查询响应时间，提高了查询效率。
-
公开(公告)号：CN106959960B
公开(公告)日：2020-07-03
申请号：CN201610016651.9
申请日：2016-01-11
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/28
Abstract: 本发明实施例提供了一种数据获取方法及装置，所述方法的一具体实施方式包括：接收数据获取请求，所述数据获取请求包括至少一个关键词；确定各关键词的维度属性，并根据各维度属性与各标识信息的对应关系及各关键词与各标识信息的对应关系，确定所述数据获取请求中包括的各关键词对应的标识信息及各关键词的维度属性对应的标识信息；根据预设合并规则，将所述各关键词对应的标识信息及各关键词的维度属性对应的标识信息合并，得到所述数据获取请求对应的至少一个目标键值；基于所述目标键值，从预先保存的包含有各键值与各数据对应关系的立方表中，获取与所述数据获取请求匹配的数据。本实施例能够提高数据获取效率。
-
公开(公告)号：CN111090705A
公开(公告)日：2020-05-01
申请号：CN201811236196.9
申请日：2018-10-23
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/28 , G06F16/2455
Abstract: 本发明提供一种多维数据处理方法、装置及设备、存储介质，该方法包括：确定读取的多维数据所属的数据层级，并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据；将所述cube数据存入本地的目标层级缓存区中，所述目标层级缓存区是本地的与cube数据所属的数据层级对应的层级缓存区；判断所述目标层级缓存区中所述缓存的数据量是否达到指定阈值，若是，则将所述目标层级缓存区中缓存的数据转存至目标数据库的与所述数据层级对应的层级数据库表中。避免因多维数据的无差别聚合及存储而导致的查询cube数据时数据量大的问题，有利于提升查询效率。
-
公开(公告)号：CN111061758A
公开(公告)日：2020-04-24
申请号：CN201811204394.7
申请日：2018-10-16
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2453 , G06F16/28
Abstract: 本发明公开了一种数据存储方法、装置及存储介质，属于数据处理技术领域。所述方法包括：从数据源获取多条数据，每条数据携带时间戳；根据该每条数据的时间戳，对该多条数据进行分类处理，得到多组数据；对该多组数据中的每组数据进行聚合统计，得到多个聚合数据；通过多个数据处理单元对该多个聚合数据进行分类存储，其中，该多个数据处理单元中的每个数据处理单元由内存和磁盘组成，每个数据处理单元中存储的聚合数据的类型相同。如此，在后续数据查询时，可以基于需要查询的数据的时间戳，从对应的数据处理单元中进行查询，提高了数据查询效率。
-
公开(公告)号：CN107818100B
公开(公告)日：2019-12-20
申请号：CN201610818671.8
申请日：2016-09-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2455
Abstract: 本发明实施例提供了一种SQL语句执行方法及装置，所述方法包括：接收待执行的目标SQL语句；针对各编译过程，在本地保存的该编译过程输入与输出的对应关系中，查找是否存在与所述目标SQL语句在该编译过程的输入匹配的目标输入；如果存在，将所述目标输入对应的目标输出作为所述目标SQL语句在该编译过程的输出；如果不存在，根据所述目标SQL语句在该编译过程的输入，对所述目标SQL语句进行相应的编译，得到所述目标SQL语句在该编译过程的输出，将该输出作为所述目标SQL语句在下一编译过程的输入；当得到所述目标SQL语句在物理优化阶段输出的物理执行树时，将所述物理执行树输入执行引擎执行。本发明实施例能够提高SQL语句的执行速度。
-
Patent Agency Ranking
公开(公告)号：CN106682042B
公开(公告)日：2019-11-22
申请号：CN201510766583.3
申请日：2015-11-11
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2455 , G06F16/28
Abstract: 本发明实施例公开了一种关系数据缓存及查询方法及装置，该缓存方法包括：接收到待缓存的关系数据后，根据每个关联子数据与列簇中每列的对应关系，将每个关联子数据缓存到对应的列中，并根据每列是否缓存了该关系数据，更新位图索引中对应行的位图标识。由于在本发明实施例中基于位图索引和每列的对应关系表，进行关系数据缓存，并且关系数据被划分为多个关联子数据，分别进行缓存，因此提高了关系数据的缓存效率，并且该方法应用于电子设备的内存，提高了内存的利用率。
-
公开(公告)号：CN109033109A
公开(公告)日：2018-12-18
申请号：CN201710434019.0
申请日：2017-06-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/30
Abstract: 本申请公开了一种数据处理方法及系统，属于大数据领域，以动态生成有向无环图。所述方法包括：接收第一SQL操作指令；根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；接收与所述第一有向无环图中指定节点对应的第二SQL操作指令；根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。
-
公开(公告)号：CN108614818A
公开(公告)日：2018-10-02
申请号：CN201611127382.X
申请日：2016-12-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/30
Abstract: 本发明实施例提供了一种数据存储、更新和查询方法及装置，该数据存储方法中，构建多个数据子立方体，并将所构建的多个数据子立方体作为当前层的数据子立方体；判断当前层的数据子立方体是否满足预设合并条件；如果满足，根据第一预设合并规则，将当前层的数据子立方体合并为上一层数据子立方体；判断上一层数据子立方体是否满足预设合并条件；如果满足，将上一层数据子立方体作为当前层的数据子立方体，再执行根据第一预设合并规则，将当前层的数据子立方体合并为上一层数据子立方体的步骤；如果不满足，保存所构建的多层数据子立方体。通过更新历史数据对应的数据子立方体实现对已存储的历史数据进行更新。
-
公开(公告)号：CN115130642B
公开(公告)日：2025-04-08
申请号：CN202110328439.7
申请日：2021-03-26
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/084 , G06N3/063
Abstract: 本申请实施例提供了一种图卷积神经网络训练和图运算方法、装置、设备及系统中，通过对全图进行切割，得到多个子图，并针对每个子图，获得该子图中各节点在全图中的度，将各子图分发到各训练设备进行训练，并且在下发子图的同时下发获得的该子图中各节点的度，各训练设备利用本地的图卷积神经网络对该子图进行前馈计算时，由于是基于全图的度进行计算的，能够保证得到的节点输出特征与全图的节点输出特征一致，则在对图卷积神经网络进行训练的过程中，相当于是基于全图对图卷积神经网络进行训练，且由于子图的数据量远小于全图的数据量，利用多个训练设备的分布式训练方式，实现了基于大数量级的图对图卷积神经网络模型进行训练的目的。
-
公开(公告)号：CN112035261B
公开(公告)日：2024-10-01
申请号：CN202010954887.3
申请日：2020-09-11
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了数据处理方法及系统，基于CPU的分布式大数据处理框架集群包括多个预处理进程，每个预处理进程分别对自身对应的缓存分区中的样本数据进行处理，当任一缓存分区的样本数据处理完成后，将针对该一缓存分区预处理得到的数据发送给基于GPU的深度学习框架集群，深度学习框架集群在接收到分区预处理数据后即时对深度学习模型进行训练。每完成针对单个缓存分区预处理便进行数据传输，减少了大数据处理框架集群因将分布在各个预处理进程中的数据统一收集而造成的性能耗时，同时先预处理完成的分区预处理数据可以先传输给深度学习框架集群进行训练，能够增加深度学习模型的训练效率。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.043 seconds)
