集群内存自适应管理方法、服务器集群系统

    公开(公告)号:CN103226520A

    公开(公告)日:2013-07-31

    申请号:CN201310113105.3

    申请日:2013-04-02

    Abstract: 本发明涉及一种集群内存自适应管理方法、服务器集群。其中,集群内存自适应管理方法包括:对于数据服务器集群中的每个数据服务器,在使用前对该数据服务器按照变步长加性增长方式进行内存预分配,将内存分割为设定数目的片组,每个片组的总容量相等,每个片组包含容量相等的多个分片。本发明的集群内存自适应调管理方法,采用优化模式的内存预先分配的策略,保证了内存的合理分片,从而提高了内存的存取效率,也减少了内存碎片的产生。此外,本发明的集群内存自适应调管理方法能够进行内存自适应调整,大大提高了内存的自治能力和稳定性。

    一种基于多GPU的强连通图检测方法

    公开(公告)号:CN110264392A

    公开(公告)日:2019-09-20

    申请号:CN201910371236.9

    申请日:2019-05-06

    Abstract: 本发明提出一种基于多GPU的强连通图检测方法,包括以下步骤:加载图数据并统一存储格式;对图数据进行预处理,包括按照分区个数进行图分割并进行分区保存,对相互链接的处于不同分区的顶点进行复制顶点处理;将预处理好的数据存入多个GPU中,以复制顶点为中心进行广度优先遍历并记录复制边信息;将复制边传回CPU,检测强连通图并标记属于同一个强连通图的顶点;将标记的顶点传回上述多个GPU中,进行强连通图检测。

    一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质

    公开(公告)号:CN107491487A

    公开(公告)日:2017-12-19

    申请号:CN201710582509.5

    申请日:2017-07-17

    Abstract: 本发明公开了一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质。本发明的全文数据库架构包括:数据模块,用于记录全文数据库的数据库表名及其索引字段信息;存储模块,包括若干独立的数据块,用于存储数据库表的数据和索引信息;加载模块,用于根据元数据模块中的索引信息将各所述数据库表的数据加载到所述数据块,当一数据块写满时,则将该数据块标记为稳态;索引创建模块,用于对于标记为稳态数据块,生成该数据块的索引;查询模块,用于根据查询语句在所述元数据模块中进行查找,如果找到匹配的索引字段,则查找各数据块的索引,然后根据数据块的索引判断该数据块是否满足查询条件。本发明大大提高了查询速度和数据库吞吐率。

    一种面向Spark-Sql检索的元数据实时更新方法

    公开(公告)号:CN107391555A

    公开(公告)日:2017-11-24

    申请号:CN201710422553.X

    申请日:2017-06-07

    CPC classification number: G06F16/2379 G06F16/24552 G06F16/27

    Abstract: 本发明涉及一种面向Spark-Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时,会将使用的元数据进行缓存,将被检索的数据块文件元数据以集合的形式缓存于内存中;当获得文件元数据的增量信息时,将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中,若存在,则将增量的文件元数据增加至缓存的该表文件元数据的集合之中,由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法,可以实时的对检索元数据的增加情况进行处理,提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新,以减少更新元数据时的时间和资源开销。

    数据处理方法及装置
    46.
    发明公开

    公开(公告)号:CN103218176A

    公开(公告)日:2013-07-24

    申请号:CN201310113197.5

    申请日:2013-04-02

    Abstract: 本发明涉及一种数据处理方法及装置。其中,数据处理方法包括:创建共享内存环,所述共享内存环为存储待操作数据的环形结构空间;在对共享内存环中下一个操作目的单元进行操作前,将所述下一个操作目的单元的操作标志位设置为对应下一个操作的操作类型;判断所述下一个操作目的单元是否能够进行所述下一个操作;根据判断结果对所述下一个操作目的单元中的数据进行处理。本发明的数据处理方法及装置,设计了一种共享内存中的环形数据结构,结合生产者和消费者的数据协调规则和共享内存环覆写机制,基于原子位操作对环的控制标识位进行更新,提高了数据并行处理场景下共享资源的数据读写效率,减小数据同步的开销,从而解决了共享资源读写效率低、同步开销大的问题。

    一种基于机器学习的数据表复合主键发现方法

    公开(公告)号:CN119248766A

    公开(公告)日:2025-01-03

    申请号:CN202411113873.3

    申请日:2024-08-14

    Abstract: 本发明公开了一种基于机器学习的数据表复合主键发现方法,其步骤包括:1)对于一样本集,首先识别每一样本的最小UCC的列表;其中,每一样本为一数据表,将不包含重复内容且可用于索引的组合列称为唯一组合列UCC,将不包含其他UCC的UCC定义为最小唯一组合列,即最小UCC;2)对样本的每一最小UCC进行特征提取组合,得到该样本的每一最小UCC的特征向量;3)利用各样本的特征向量训练分类器;4)针对一个待处理数据表A,获取数据表A的各最小UCC对应的特征向量并输入随机森林分类器,得到数据表A的用于生成复合主键的最小UCC,据此生成数据表A的复合主键。本发明仅靠数据表内在信息即可实现复合主键的识别。

    一种面向元数据稀疏分布的LSM数据组织方法及装置

    公开(公告)号:CN118051643A

    公开(公告)日:2024-05-17

    申请号:CN202410203154.4

    申请日:2024-02-23

    Abstract: 本发明公开了一种面向元数据稀疏分布的LSM数据组织方法及装置。本发明使用动态分区组织排序字符串表,具体先对键值对数据的键名进行聚类分析得到键名群组,然后修剪键名群组形成键值对分区,将键值对数据刷写进对应的键值对分区内形成排序字符串表,各键值对分区独立进行合并排序操作,从而有效限制了元数据稀疏分布的排序字符串表的形成,进而大大减少参与合并排序过程的高层级排序字符串表数量,减少高层级排序字符串表反复参与合并排序操作的次数,检索键值对数据时,键值对分区进一步加快定位键值对数据,从而实现系统读写性能的提升。

    一种支持多模态数据弱监督分类的方法和系统

    公开(公告)号:CN117349694A

    公开(公告)日:2024-01-05

    申请号:CN202311097475.2

    申请日:2023-08-29

    Abstract: 本发明涉及一种支持多模态数据弱监督分类的方法和系统。该方法包括:对图像、文本分别进行特征抽取,获得图像特征、文本特征,对图像特征、文本特征进行特征融合,获得融合特征;将图像特征、文本特征和融合特征输入基于Mixmatch的多模态弱监督分类模型中进行分类;将基于Mixmatch的多模态弱监督分类模型得到的分类结果放入分类器中获取最终的分类结果。本发明实现了一种充分利用少量有标注的多模态数据与大量无标注的多模态数据的分类方案,能够解决多模态数据标注稀缺的问题,提高对互联网中多种模态数据的利用率,在互联网数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。

    一种支持全局复杂检索的跨地域查询方法及系统

    公开(公告)号:CN107220363A

    公开(公告)日:2017-09-29

    申请号:CN201710422561.4

    申请日:2017-06-07

    CPC classification number: G06F16/2282 G06F16/2471

    Abstract: 本发明涉及一种支持全局复杂检索的跨地域查询方法及系统。该方法包括:1)建立用于跨地域查询的全局元数据组织结构,其包括全局视图以及全局视图与各数据中心的数据表的映射关系;2)根据各数据中心的数据表的结构调整,动态调整全局视图与各数据中心的数据表的映射关系;3)解析用户的查询请求,根据全局元数据组织结构将查询任务下发至各数据中心执行查询,各数据中心将查询结果反馈至全局点;4)全局点将各数据中心返回的查询结果进行汇总,并将汇总后的数据展示给用户,从而实现跨地域查询。本发明能够提高对各数据中心大数据的综合分析能力,在大数据处理领域具有很强的实用性和应用范围,具有广阔的应用前景。

Patent Agency Ranking