一种用于数据湖中的表维护、搜索和分析端到端的系统

    公开(公告)号:CN118363960A

    公开(公告)日:2024-07-19

    申请号:CN202410532285.7

    申请日:2024-04-29

    摘要: 本发明公开了一种用于数据湖中的表维护、搜索和分析端到端的系统,属于机器学习领域,使用本发明能够提升用于评估数据湖中可连接和可合并表的查询方法的有效性、效率和可扩展性,实现了端到端的表搜索。包括嵌入数据湖模块、索引构建模块、表格搜索模块、迭代模型分析模块、交互模块以及模型性能展示模块。通过嵌入数据湖模块进行编码,并采用索引构建模块进行索引的构建;表格搜索模块用户根据给定的关键词或者查询表,选择查询方式来查询,并支持表连接查询和表合并查询。再训练一个预测模型,通过表连接查询或表合并查询以增强更多元组。采取迭代分析来选择对模型有益的元组,迭代地集成到查询表中并评估性能。

    一种基于Gaia系统的数据分类方法

    公开(公告)号:CN113609361B

    公开(公告)日:2023-11-14

    申请号:CN202110961564.1

    申请日:2021-08-20

    摘要: 本发明提供一种基于Gaia系统的数据分类方法,所述方法基于超限学习机实现,Gaia系统由于其更新的底层流处理计算架构和多种全局优化与执行优化技术,相比于其他分布式计算系统具有更好的执行效率。在批处理模式下可实现海量吞吐,在流处理模式下可实现极速响应;另外,由于超限学习机是一种单隐层前馈神经网络,相比于其他的学习机具有更快的学习速度;将上述两种优势进行结合,可使得本发明实现更高效率的数据分类。再者通过构建的初始数据集UCollection自行判断判定启动批处理环境或流处理环境,用户在使用该学习机进行数据分类时可不用关心数据的类型与来源,只需关注对数据的处理过程即可,为用户的使用带来了极大的便利。

    基于区块链时态数据的可验证分级索引的构建及查询方法

    公开(公告)号:CN117009347A

    公开(公告)日:2023-11-07

    申请号:CN202310611053.6

    申请日:2023-05-26

    摘要: 本发明属于数据管理技术领域,更具体的说是涉及一种基于区块链时态数据的可验证分级索引的构建及查询方法。本发明首先定义了研究对象即区块链中时态数据的结构模型,该结构模型是对传统区块链交易结构的扩展,每x个交易构成一级完整索引,x为非定值参数,可以在系统运行期间不断变化,具体而言,该结构在原有的区块链交易结构上新增交易时间属性标识数据的时态性;新增交易双方前向溯源指针为查询提供溯源基础;新增索引时间区间属性为范围查询提供判断依据;新增索引序号属性和索引级首交易指针属性提升查询效率。

    一种基于代数化的深度优先搜索的环路检测方法

    公开(公告)号:CN116451387A

    公开(公告)日:2023-07-18

    申请号:CN202310226508.2

    申请日:2023-03-10

    IPC分类号: G06F30/18 G06Q50/00 G06F17/16

    摘要: 本发明公开了一种基于代数化的深度优先搜索的环路检测方法,涉及社区网络有向图技术领域,能够有效地在社交网络中发现并输出所有规定长度内的环路,算法简单效率较高。为达到上述目的,本发明的技术方案为:构建社交网络的有向图;该方法将社交网络的有向图作为目标图,执行如下步骤:将有向图中的点按照读取顺序从1至n编号。按照编号将所述有向图的点边信息以邻接矩阵A的形式存储到CSR格式压缩矩阵中。在所述有向图的邻接矩阵中,选取起始点,用代数化的语言利用邻接矩阵和可达矩阵的思想进行环路检测,在环路检测过程中根据有向图和环路的数学性质进行路径扩展限定,扩展节点即下一个属于环路的节点;由此获得针对起始点的环路路径。

    一种基于区块链的跨链事务处理方法、装置及设备

    公开(公告)号:CN115309515B

    公开(公告)日:2023-01-31

    申请号:CN202211232072.X

    申请日:2022-10-10

    IPC分类号: G06F9/46 G06F16/27 G06Q50/18

    摘要: 本文涉及区块链技术领域,尤其涉及一种基于区块链的跨链事务处理方法、装置及设备。包括,中继链将发起链发送的跨链事务请求转换为跨链事务消息,对跨链事务消息进行依赖检测,将存在同一个依赖关系的多个跨链事务消息划分到第一跨链事务集中,并根据依赖关系对第一跨链事务集中的多个跨链事务消息进行排序,将与任意一个跨链事务消息都不存在依赖关系的跨链事务消息划分到第二跨链事务集,对第一跨链事务集和第二跨链事务集中的跨链事务消息进行冲突检测,根据冲突检测结果将跨链事务消息发给接收链。通过本文实施例,实现了法检司区块链跨链的冲突检测和依赖检测,保证了法检司跨链在并发事务场景下以及多级事务场景下的数据隔离性和一致性。

    一种异构区块链跨链事务运行状态的分析方法和装置

    公开(公告)号:CN115309581B

    公开(公告)日:2023-01-24

    申请号:CN202211238576.2

    申请日:2022-10-11

    IPC分类号: G06F11/07 G06F9/46

    摘要: 本文提供了一种异构区块链跨链事务运行状态的分析方法和装置,其中方法包括:在一个跨链事务运行过程中,每隔设定时间获取一次参与该跨链事务的侧链和中继链的运行数据;对参与该跨链事务的各链的运行数据分别进行事务特征值提取,在所述中继链中广播提取后的事务特征值;所述中继链的主节点根据所述跨链事务的类型,确定用于分析所述跨链事务运行状态的目标从节点;所述目标从节点利用所述跨链事务的历史总特征值对参与该跨链事务的各链的事务特征值进行分析,确定所述跨链事务的运行状态。本文能够对区块链平台中异构区块链的跨链事务运行状态进行分析,及时确定跨链运行时的故障问题。

    一种基于受限恢复的图迭代器及方法

    公开(公告)号:CN110750385B

    公开(公告)日:2022-09-09

    申请号:CN201911021201.9

    申请日:2019-10-25

    IPC分类号: G06F11/14 G06F16/182

    摘要: 本发明公开一种基于受限恢复的图迭代器及方法,属于分布式迭代计算技术领域。该迭代器采用分布式图计算算法的join‑GroupBy‑Union‑aggregation模式将图计算转换操作中的宽依赖转化为窄依赖,并对部分数据进行备份,从而使得只需恢复故障节点而不需要完全将整个计算回退到最近检查点保存的状态;在故障节点恢复时采用所有健康节点来并行恢复,进一步加快了故障恢复的速度;图迭代中在迭代尾部添加检查点的非阻塞检查点模型,加速了检查点的写入速度,并且在尾部检查点添加了迭代感知器,使得仅在当前迭代中的检查点完成后才启动下一个迭代,有助于在迭代图处理期间协调检查点的创建。

    一种基于区块链的图谱查询验证方法

    公开(公告)号:CN114840681A

    公开(公告)日:2022-08-02

    申请号:CN202210385844.7

    申请日:2022-04-13

    IPC分类号: G06F16/36

    摘要: 本发明涉及链上链下混合存储区块链领域,涉及一种基于区块链的图谱查询验证方法,特别涉及基于混合存储区块链的可验证子图查询处理方法。本发明提供了一种基于区块链的图谱查询验证方法,完善了区块链中图式结构数据的可验证查询机制。本发明通过在服务器端基于大图顶点的结构信息构建树形可验证索引,有效捕获数据以及区块间的复杂拓扑结构,借助区块链的不可篡改和可溯源的性质存储树形可验证索引的根节点以及大图的哈希值,实现了查询结果与验证信息高效并行生成。