-
公开(公告)号:CN118051517A
公开(公告)日:2024-05-17
申请号:CN202211441559.9
申请日:2022-11-17
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/2455 , G06F16/2457 , G06F16/27 , G06F16/28
Abstract: 本申请实施例提供了一种图数据库数据处理系统、方法及装置,涉及数据处理技术领域,上述系统包括:处理节点与配置有图数据库分区的存储节点;处理节点接收针对图数据库中数据的数据处理语句;对数据处理语句进行语句分析,得到数据处理单步;将下推单步优化为与配置图数据库分区的存储节点的处理资源相匹配的下推优化单步;向存储节点发送下推优化单步中包含的下推子语句;存储节点基于下推子语句从图数据库存储中获取数据,并对所获取的数据进行处理;向处理节点反馈下推处理结果;处理节点执行下推单步之外的数据处理单步对下推处理结果进行处理,得到数据处理结果。应用本申请实施例提供的方案能够降低数据处理过程中的数据传输资源消耗。
-
公开(公告)号:CN119376655B
公开(公告)日:2025-04-01
申请号:CN202411979811.0
申请日:2024-12-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种分布式存储系统的静态分区数据迁移方法及系统,包括:将各个存储节点的磁盘划分为迁入磁盘集合和迁出磁盘集合,磁盘划分的方式包括:针对至少一个磁盘,基于该磁盘的容量阈值和当前水位线确定该磁盘的数据量阈值,根据所述数据量阈值和该磁盘的当前负载量确定该磁盘为迁入磁盘还是迁出磁盘,进而得到迁入磁盘集合和迁出磁盘集合,其中,当前水位线基于本次参与水位线更新的磁盘的当前负载量确定;基于迁入磁盘集合和迁出磁盘集合,确定分布式存储系统的迁移计划。本申请能够有利于在磁盘容量不均的场景下更好地确定磁盘数据迁移,避免实际迁移时出现磁盘空间不足的情况。
-
公开(公告)号:CN118276757A
公开(公告)日:2024-07-02
申请号:CN202211723238.8
申请日:2022-12-30
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请公开了一种分布式数据库的数据存储方法、装置、设备及存储介质,属于分布式数据库领域,该方法包括:将用户输入的多条数据分别存储至预设第一数量的主分区,所述主分区是基于用户触发的创建数据库表的创建指令生成,并分配给所述多个存储节点的固态硬盘的,也就是说,所述主分区均分配给了固态硬盘。并分别将每个主分区中存储的数据备份至预设第二数量的备份分区,所述备份分区是为每个主分区对应生成,并分配给所述多个存储节点的机械硬盘的。具体地,用户在对所述多条数据进行读写时,会从位置均在固态硬盘中的每个主分区中进行数据的读取,使读写的速度均匀,提高了数据的读写效率。
-
公开(公告)号:CN113726341A
公开(公告)日:2021-11-30
申请号:CN202110979093.7
申请日:2021-08-25
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H03M7/30
Abstract: 本发明实施例提供一种数据处理方法、装置、电子设备及存储介质,可以获取预设待压缩数据长度的待压缩数据;将待压缩数据进行压缩,得到压缩后数据,并记录压缩后数据的数据长度;计算压缩后数据的数据长度与预设块数据长度的比值,得到块占用率;当块占用率满足压缩块占用率条件时,利用预设块数据长度减去压缩后数据的数据长度,得到填充数据长度;获取填充数据长度的待填充内容,将压缩后数据与待填充内容进行整合,得到预设块数据长度的块数据;将块数据存储到存储介质的数据块中。可以实现针对压缩数据均得到预设块数据长度的块数据,并存储数据长度一致的块数据,能够充分利用块的空间,提高存储空间的利用率。
-
公开(公告)号:CN119376655A
公开(公告)日:2025-01-28
申请号:CN202411979811.0
申请日:2024-12-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种分布式存储系统的静态分区数据迁移方法及系统,包括:将各个存储节点的磁盘划分为迁入磁盘集合和迁出磁盘集合,磁盘划分的方式包括:针对至少一个磁盘,基于该磁盘的容量阈值和当前水位线确定该磁盘的数据量阈值,根据所述数据量阈值和该磁盘的当前负载量确定该磁盘为迁入磁盘还是迁出磁盘,进而得到迁入磁盘集合和迁出磁盘集合,其中,当前水位线基于本次参与水位线更新的磁盘的当前负载量确定;基于迁入磁盘集合和迁出磁盘集合,确定分布式存储系统的迁移计划。本申请能够有利于在磁盘容量不均的场景下更好地确定磁盘数据迁移,避免实际迁移时出现磁盘空间不足的情况。
-
公开(公告)号:CN117725092A
公开(公告)日:2024-03-19
申请号:CN202311772098.8
申请日:2023-12-21
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2453 , G06F16/2455 , G06F16/901 , G06F16/903
Abstract: 本申请公开了一种数据查询方法、装置、设备及介质,属于数据库查询技术领域。方法包括:获取目标执行计划,目标执行计划包括一动作算子以及至少一个条件运算算子;其中,目标执行计划根据图遍历语言gremlin查询语句生成;将动作算子替换为功能相同的分区执行动作算子,获得分区执行计划;基于分区执行计划,向图数据库的各数据分区并发地发送数据查询请求,获得各个数据分区的子查询结果;图数据库包括多个顶点,以及顶点之间的边,且图数据库分为多个所述数据分区存储;对所有子查询结果进行聚合,获得目标执行计划的查询结果。本申请提高了数据查询性能。
-
公开(公告)号:CN113726341B
公开(公告)日:2023-09-01
申请号:CN202110979093.7
申请日:2021-08-25
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H03M7/30
Abstract: 本发明实施例提供一种数据处理方法、装置、电子设备及存储介质,可以获取预设待压缩数据长度的待压缩数据;将待压缩数据进行压缩,得到压缩后数据,并记录压缩后数据的数据长度;计算压缩后数据的数据长度与预设块数据长度的比值,得到块占用率;当块占用率满足压缩块占用率条件时,利用预设块数据长度减去压缩后数据的数据长度,得到填充数据长度;获取填充数据长度的待填充内容,将压缩后数据与待填充内容进行整合,得到预设块数据长度的块数据;将块数据存储到存储介质的数据块中。可以实现针对压缩数据均得到预设块数据长度的块数据,并存储数据长度一致的块数据,能够充分利用块的空间,提高存储空间的利用率。
-
-
-
-
-
-