基于LSM树的图数据库存储及统计信息采集方法、和装置

    公开(公告)号:CN118861367A

    公开(公告)日:2024-10-29

    申请号:CN202410903729.3

    申请日:2024-07-05

    IPC分类号: G06F16/901 G06F16/903

    摘要: 本公开涉及数据存储技术领域,包括一种基于LSM树的图数据库存储及统计信息采集方法、和装置。通过响应于写入目标数据的写请求,获取目标数据在图数据库中表示的数据类型;按照与信息统计需求相匹配的预设编码规则和数据类型,生成目标数据的键信息;信息统计需求用于指示统计具有目标特征的节点和边;预设编码规则包括:对于具有连接关系的每组目标节点和目标边,目标节点的第一键信息和目标边的第二键信息包括相同的键部分,键部分用于指示目标特征;生成包括键信息的第一键值对;基于LSM树按照第一键值对将目标数据存储至内存表;可以通过扫描键部分即可一次性统计得到具有相同目标特征的节点和边,提高信息统计效率。

    基于链式复制协议的多可用区实现方法与装置

    公开(公告)号:CN117786007A

    公开(公告)日:2024-03-29

    申请号:CN202311819503.7

    申请日:2023-12-27

    IPC分类号: G06F16/27 G06F9/50

    摘要: 本发明提供了基于链式复制协议的多可用区实现方法与装置,方法包括如下步骤:将存储集群下的节点打上可用区的标签,标签用于区分不同可用区下的机器;机器启动时,向元数据管理的节点注册自身的信息;用户依据自身需求,进行副本配置,指定各可用区的副本数量信息;元数据管理服务按照不同可用区将机器划分为多个子链,并将多个可用区的子链依次连接起来,形成最终的链式结构;将配置下发至所述存储集群。本发明提供的基于链式复制协议的多可用区实现方法、装置、设备和计算机可读存储介质,将链式复制协议和多可用区功能结合起来,实现了基于链式复制协议的多可用区功能,避免数据频繁的在多个可用区之间流动导致的高延迟、低吞吐等性能问题。

    一种分布式易扩展的工作流任务调度系统设计方法

    公开(公告)号:CN116700918A

    公开(公告)日:2023-09-05

    申请号:CN202310221652.7

    申请日:2023-03-09

    发明人: 杨娟 翟士丹 高亮

    IPC分类号: G06F9/48

    摘要: 本发明提供了一种分布式易扩展的工作流任务调度系统设计方法,包括架构设计,包括如下步骤:设置manager/worker为主从节点;基于redis作为队列,将待执行的作业放置到redis中,由各个worker抢占;manager节点为主节点,支持多活并对外开放服务,由外部调用服务创建工作流和执行工作流,并负责发送任务到redis队列;worker节点为从节点,支持多节点并且向manager发送心跳;manager和worker通过nacos注册中心进行服务发现和通信,并可设置多活;调度元数据存储在mysql数据库中。本发明提供的分布式易扩展的工作流任务调度系统设计方法、设备和计算机可读存储介质,通过主从节点,事件驱动的设计架构,解决调度框架常见的高可靠,工作流依赖,任务重试等问题。

    一种分布式大数据组件统一服务引擎设计方法

    公开(公告)号:CN116610375A

    公开(公告)日:2023-08-18

    申请号:CN202310219911.2

    申请日:2023-03-09

    IPC分类号: G06F9/445 G06F9/455

    摘要: 本发明提供了一种分布式大数据组件统一服务引擎设计方法、设备和计算机可读存储介质,方法包括如下步骤:根据大数据计算框架spark/flink的特点,在系统中以jonName‑plugins‑module的组织方式来引用相关业务开发的源码包和配置文件以及启动脚本,不依赖其他jar包,提供大数据计算引擎中核心的计算引擎层;对具有相同特点的计算框架按照上述步骤进行添加,并通过前缀进行区分。本发明提供的分布式大数据组件统一服务引擎设计方法、设备和计算机可读存储介质,通过大数据计算框架组织和对外开放服务接口的方式整合大数据生态组件和计算,降低了开发难度、使用开销,提升了工作效率。

    一种用于实体和关系抽取的规则系统及方法

    公开(公告)号:CN116522934A

    公开(公告)日:2023-08-01

    申请号:CN202310261033.0

    申请日:2023-03-14

    IPC分类号: G06F40/295 G06F40/253

    摘要: 本发明涉及信息处理技术领域。一种用于实体和关系抽取的规则系统包括规则管理模块、规则执行模块和规则存储模块,规则管理模块,包括规则集管理单元、规则增删改查单元、规则解析单元、规则校验单元和规则测试单元,规则集管理单元,包括多个规则集,每个规则集中包括至少一条规则;规则增删改查单元,用于对调整规则;规则解析单元,用于对规则进行解析,以便基于解析的内容执行规则;规则校验单元,用于对规则增删改查单元进行校验;规则测试单元,用于对规则测试,并返回测试结果;规则执行模块,用于根据输入的非结构化数据执行规则管理模块,以便得到非结构化数据中的实体和关系;存储模块,用于存储规则管理模块。

    用户身份信息识别方法、装置、电子设备及存储介质

    公开(公告)号:CN116010916A

    公开(公告)日:2023-04-25

    申请号:CN202310067724.7

    申请日:2023-01-13

    发明人: 杨娟

    IPC分类号: G06F21/31

    摘要: 本发明实施例公开了一种用户身份信息识别方法、装置、电子设备及存储介质。其中,方法包括:获取目标用户的目标身份信息,并根据目标身份信息确定至少一条参考身份信息;根据目标身份信息与各参考身份信息确定至少一条身份信息数据对;根据各身份信息数据对,确定目标用户的身份信息。本发明实施例的方案,可以对用户的身份信息进行快速确认,为快速且准确地响应客户请求提供依据。

    一种基于知识图谱的数据标注方法、装置、介质及设备

    公开(公告)号:CN113886606B

    公开(公告)日:2022-12-13

    申请号:CN202111487568.7

    申请日:2021-12-08

    摘要: 本申请实施例公开了一种基于知识图谱的数据标注方法、装置、介质及设备。其中,该方法包括:响应于标注任务的创建请求,确定标注任务关联的图本体模型;其中,图本体模型用于构建实体属性以及实体与实体之间的关系;获取标注目标文档,并根据图本体模型确定标注项数据;根据标注项数据确定带有标注的训练文档,以对预训练模型进行训练,若训练过程中预训练模型的输出结果符合验收标准,则得到规范模型;采用规范模型对标注目标文档的实体属性以及实体与实体之间的关系进行标注。采用本申请技术方案,可将知识图谱与标注数据相结合,从而实现标注数据的可视化,能够更加清晰、直观地反映数据,同时提高了数据标注的效率。

    一种图数据处理方法、装置、电子设备以及存储介质

    公开(公告)号:CN113609318B

    公开(公告)日:2022-03-22

    申请号:CN202111175074.5

    申请日:2021-10-09

    IPC分类号: G06F16/51 G06F16/53

    摘要: 本发明公开了一种图数据处理方法、装置、电子设备以及存储介质,属于计算机技术领域。该方法包括:根据待存储图数据中端点的标识信息和所述端点关联的关系边的类型,构建至少一个类型的关系边的基础键值对键域的外键标识;根据所述端点的标识信息和所述关系边的标识信息,确定所述关系边的数据键值对键域的内键标识;根据所述关系边的属性信息,确定所述关系边的数据键值对值域的内键值;将同类型的关系边的数据键值对写入该类型所对应的关系边的基础键值对值域的寻址区域中;将所述基础键值对写入图数据库的kv存储引擎中。通过上述技术方案,提高了图数据导入性能和访问性能。

    一种知识图谱实时查询解决方案

    公开(公告)号:CN110489610B

    公开(公告)日:2022-02-08

    申请号:CN201910746620.2

    申请日:2019-08-14

    发明人: 梁志勇

    IPC分类号: G06F16/903

    摘要: 本发明提供了一种知识图谱实时查询解决方案,核心思路是将原有的图谱数据库内部执行的多度查询分解为多个1度K层展开,辅以图谱数据库的部分改造,具体实施细节如下:1)由Java应用程序传入开始检索的实体,在图谱数据库中进行1度K层展开,结果存入Hive;2)Java应用程序取得K层展开结果,对1度关联的实体进行下一次的1度K层展开,按这样的过程重复执行,直到到达指定的查询深度或者没有更多的关联实体为止。本发明在实体及关系的总和超过100亿的数据量下,单个节点的K层展开和一对一实体关系1度以上的实时查询耗时不超过3秒。

    一种基于D3的知识图谱数据节点渲染方法及系统

    公开(公告)号:CN111598988B

    公开(公告)日:2022-01-25

    申请号:CN202010423078.X

    申请日:2020-05-19

    发明人: 蔡东东

    摘要: 本发明涉及一种基于D3的知识图谱数据节点渲染方法及系统,该方法包括:构建一个静态工程并在所述静态工程中引入数字可视化工具D3;将知识图谱数据节点的2D坐标由JSON格式转换为二进制;将转换得到的二进制的2D坐标转换为3D坐标;在所述静态工程中,使用D3在Canvas画布中绘制基于所述3D坐标的WebGL元素,完成知识图谱数据节点的渲染。本发明的有益效果是:1.提高知识图谱的展示数据节点的数据量;2.提高D3对CPU、GPU的利用率;3.提高知识图谱在大数据量下的交互流畅性。