针对检索数据量进行估计的方法及装置

    公开(公告)号:CN116361329A

    公开(公告)日:2023-06-30

    申请号:CN202310344062.3

    申请日:2023-03-31

    Abstract: 本说明书实施例提供一种针对检索数据量进行估计的方法及装置,针对一个具体的数据查询请求,不仅考虑查询请求中的查询特征,还根据查询请求确定性相关数据表中的数据表信息,并从中提取数据特征。从而,可以同时考虑数据特征和查询特征,以进行数据量估计。这种方式由于在查询驱动Query‑Driven架构下引入数据表中的数据信息作为补充,从而可以加强查询编码能力,提高数据量估计的准确度。

    基数估计方法及装置
    2.
    发明公开

    公开(公告)号:CN116662378A

    公开(公告)日:2023-08-29

    申请号:CN202310343475.X

    申请日:2023-03-31

    Abstract: 本说明书一个或多个实施例提供一种基数估计方法及装置,涉及计算机技术领域。该方法包括获取数据查询请求,数据查询请求用于在数据库中查询多个第一指定列中的数据;根据多个第一指定列之间的关联关系,计算多个第一指定列共同的联合概率;根据联合概率,估计数据查询请求对应的基数。本说明书提供的方法不仅能够在多列查询的场景下提供准确的基数估计结果,并且在高负载情况下仍能保持优异的性能表现,进而提高了数据库的查询效率。

    一种数据库中的数据合并方法、装置以及设备

    公开(公告)号:CN115544014A

    公开(公告)日:2022-12-30

    申请号:CN202211291851.7

    申请日:2022-10-20

    Abstract: 本说明书实施例公开了一种数据库中的数据合并方法、装置以及设备。所述数据库具有多个数据存储层,所述多个数据存储层具有时序顺序。方案包括:检测指定的内存存储区域中存储的数据是否达到设定阈值;若是,则从所述内存存储区域中选择符合设定条件的数据,将所述符合设定条件的数据写入所述多个数据存储层中时序最新的数据存储层中,作为一个数据子集合;在所述时序最新的数据存储层中,确定已存在的各所述数据子集合的总数量和占据的总存储空间;根据所述总数量和所述总存储空间,判断是否将所述时序最新的数据存储层中的数据,向所述多个数据存储层中时序次新的数据存储层中合并。

    一种数据处理方法、装置、存储介质及电子设备

    公开(公告)号:CN115391609A

    公开(公告)日:2022-11-25

    申请号:CN202211014403.2

    申请日:2022-08-23

    Abstract: 本说明书提供了一种数据处理方法、装置、存储介质及电子设备。在本说明书提供的数据处理方法中,会确定数据写入请求中包含的待写入数据的标识;随后判断目标链表中是否存在与所述待写入数据的标识相同的数据;若是,则删除目标链表中与所述待写入数据的标识相同的数据,并将所述待写入数据写入第一队列;若否,则直接将所述待写入数据写入第一队列;当第二队列满足压缩条件时,将第二队列的数据移动至外部存储器。在采用本说明书提供的数据处理方法处理采用日志结构合并树结构数据库的系统中的数据时,可通过删除重复标识的数据的方式,有效削减需要处理的数据量,避免了由于重复写入相同标识的数据而导致的系统吞吐量降低,性能受到影响。

    一种数据处理方法、装置、可读存储介质及电子设备

    公开(公告)号:CN115374117A

    公开(公告)日:2022-11-22

    申请号:CN202211014402.8

    申请日:2022-08-23

    Abstract: 本说明书公开了一种数据处理方法、装置、可读存储介质及电子设备,基于预先部署的热数据表和冷数据表,从热数据表和冷数据表中查询该数据处理请求中携带的待处理键对应的键值对,作为指定键值对,并确定指定键值对处理后的目标键值对,并根据该指定键值对在热数据表和冷数据表中的存储位置,将该目标键值对存储在热数据表中。本方法中的冷数据表和热数据表,仅存储有各键分别对应的最新处理结果,因此在进行数据查询时,仅需在热数据表和冷数据表中查询该待处理键对应的指定键值对,避免了在进行数据查询时需遍历大量无效键值对的情况出现,提高了数据查询和数据处理的效率。

    一种面向兴趣点推荐的可解释生成方法

    公开(公告)号:CN113420215B

    公开(公告)日:2023-08-29

    申请号:CN202110698835.9

    申请日:2021-06-23

    Applicant: 东北大学

    Abstract: 本发明提供一种面向兴趣点推荐的可解释生成方法,涉及社交网络以及兴趣点推荐技术领域。首先根据兴趣点推荐模型获取用户ID及推荐的兴趣点,以及兴趣点对应的影响因素;再根据兴趣点影响因素之间的标量投影,进行兴趣点影响因素之间的融合;将多个融合后的影响因素与推荐的兴趣点将多个融合后的影响因素与推荐的兴趣点进行相似性学习,得到融合后的影响因素与推荐的兴趣点间的相似性权重;根据相似性权重值,确定影响兴趣点推荐的主要影响因素;最后采用设定好的句子模板,基于主要影响因素对推荐的兴趣点进行句子解释;该方法对推荐的兴趣点的不同影响因素进行分析,在既保证推荐模型的准确率的同时,又保证了解释的合理性。

    一种基于共识组划分和多层索引的联盟链数据查询方法

    公开(公告)号:CN116303675A

    公开(公告)日:2023-06-23

    申请号:CN202310272619.7

    申请日:2023-03-20

    Applicant: 东北大学

    Abstract: 本发明设计一种基于共识组划分和多层索引的联盟链数据查询方法;针对联盟链系统中索引性能不佳以及多节点情况下扩展性差问题,开展面向联盟链查询设计研究以提高查询性能和安全性;对fabric系统做改进,提出节点共识组模型;共识组中存在主从节点且有多层,节点能在组内达成共识之后递归重复共识过程最终达成多层PBFT共识协议;提出双层跳跃列表索引模型,上层用于查找包含查询状态的底层的搜索范围;底层用于索引和查询区块链状态;通过新生成的区块版本号计算出在双层跳表顶层及底层的位置从而构建索引;通过版本号计算出顶层索引位置,计算出底层跳表所在层并展开搜索得到目标数据条目节点,通过条目节点从而查询目标区块数据并验证返回给客户端。

    基于消息队列的数据流处理检查点文件存储的方法及装置

    公开(公告)号:CN112199334A

    公开(公告)日:2021-01-08

    申请号:CN202011146473.4

    申请日:2020-10-23

    Applicant: 东北大学

    Abstract: 本发明提供了一种基于消息队列的数据流处理检查点文件存储的方法及装置,其中该方法根据流式计算中产生的用于保存中间状态的检查点文件进行特征分析,将其存储结构与消息队列消息队列的存储模型进行逻辑适配,设计文件操作接口与消息操作接口的映射关系,使用Zookeeper保存映射关系元信息部分;自定义分布式文件系统协议,提供依赖库的无服务形式被上游流式处理应用所依赖,以一种对用户透明的运行方式,根据实现的映射规则将检查点数据路由到对应的消息队列存储结构中,当流式应用重启时,根据Zookeeper中的元信息获取到消息队列中相应的状态数据,进行任务恢复以实现数据流计算框架容错机制。

    基于节点嵌入和个性化时间间隔的复杂网络链路预测方法

    公开(公告)号:CN110968792A

    公开(公告)日:2020-04-07

    申请号:CN201911028804.1

    申请日:2019-10-28

    Applicant: 东北大学

    Abstract: 本发明的基于节点嵌入和个性化时间间隔的复杂网络链路预测方法,包括:根据某领域数据集,捕获用户间的多种网络关系,生成时序多关系网络;确定时序多关系网络中要预测的目标类型链接,得到目标网络与辅助网络进行两个网络对应邻接矩阵的完备化处理,利用共享矩阵分解生成节点特征向量;针对不同类型的链接,动态生成个性化时间间隔和包含时间信息的关系形成序列,生成多关系网络中不同关系的影响力;以节点嵌入的乘积作为基础概率,利用霍克斯过程对关系形成序列进行建模,得到节点间链接形成的概率。本发明考虑用户在目标网络与辅助网络上的结构信息;在生成关系形成序列时利用个性化时间间隔解决了信息分布不均匀的问题,提高了预测的准确度。

Patent Agency Ranking