一种图数据分割的方法及装置

    公开(公告)号:CN105096297A

    公开(公告)日:2015-11-25

    申请号:CN201410187377.2

    申请日:2014-05-05

    CPC classification number: G06F17/30

    Abstract: 本发明提供一种图数据分割的方法及装置,该方法包括:通过并行的标签传递算法将原始图数据转换为局部密集的带权超图;通过划分算法逐次将所述带权超图均衡划分为带权超图子图;将所述带权超图子图还原为原始图对应的数据。通过本发明可以分割速度更快,处理数据规模更大,分割后的数据块之间耦合度较小,有效降低使用BSP模型的并行计算平台中个工作顶点之间的数据通信,提高了处理效率。

    HBase非主键索引构建与查询方法及其系统

    公开(公告)号:CN104850572A

    公开(公告)日:2015-08-19

    申请号:CN201410658614.9

    申请日:2014-11-18

    Abstract: 本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括:在分布式内存和Hbase数据表上建立全局非主键索引;识别针对非主键属性的查询,依据所述全局非主键索引定位到相应的索引节点,并向含有结果集的所述索引节点发送查询请求。通过在分布式内存和Hbase数据表上建立全局非主键索引,以及在识别针对非主键属性的查询时,依据所述全局非主键索引定位到相应的索引节点,并向含有结果集的所述索引节点发送查询请求,保证不含有结果集的节点不参加查询,从而避免了现有技术中分布式非主键索引存在的性能浪费的问题。提高了HBase上大数据非主键属性的查询性能,实现了为HBase提供非主键属性上的实时查询的能力。

    HBase非主键索引构建与查询方法及其系统

    公开(公告)号:CN104850572B

    公开(公告)日:2018-11-23

    申请号:CN201410658614.9

    申请日:2014-11-18

    Abstract: 本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括:在分布式内存和Hbase数据表上建立全局非主键索引;识别针对非主键属性的查询,依据所述全局非主键索引定位到相应的索引节点,并向含有结果集的所述索引节点发送查询请求。通过在分布式内存和Hbase数据表上建立全局非主键索引,以及在识别针对非主键属性的查询时,依据所述全局非主键索引定位到相应的索引节点,并向含有结果集的所述索引节点发送查询请求,保证不含有结果集的节点不参加查询,从而避免了现有技术中分布式非主键索引存在的性能浪费的问题。提高了HBase上大数据非主键属性的查询性能,实现了为HBase提供非主键属性上的实时查询的能力。

    自动问答方法及系统
    4.
    发明授权

    公开(公告)号:CN107545003B

    公开(公告)日:2022-03-04

    申请号:CN201610490478.6

    申请日:2016-06-28

    Inventor: 曲文武

    Abstract: 本发明实施例提供一种自动问答方法及系统,从产品与服务数据中为用户问题生成答案数据,针对每一产品与服务数据集合对应一个路径,针对每一路径设置一个权值向量得到路径和权值对应关系表;当收到用户下发的用户问题后,则将该用户问题编码成特征向量,然后将特征向量与路径和权值对应关系表中的各权值向量进行匹配,在特征向量与其中一个权值向量匹配成功时,从该权值向量对应路径的答案数据中提取用户问题的答案反馈给用户。基于涵盖所有服务数据以及所有用户服务数据的产品与服务数据进行路径和权值向量设置,而不是基于标准问题库,因此能更好的覆盖用户问题,为用户更全面的提供自动解答,提升用户体验满意度。

    语义数据的存储方法及装置

    公开(公告)号:CN106326295B

    公开(公告)日:2021-12-14

    申请号:CN201510379367.3

    申请日:2015-07-01

    Inventor: 曲文武 王志坤

    Abstract: 本发明提供了一种语义数据的存储方法及装置,其中,该方法包括:选择语义数据中的主题属性和主键属性,主题属性是语义数据中查询频率超过预定阈值的属性,主键属性是语义数据中数据逻辑描述的属性;计算主题属性的每个主题属性值对应的主键属性的主键属性值集合;将语义数据中属于同一个主键属性值集合的属性存储在同一节点上;在节点上为存储在节点中的每个属性建立属性表,以及对属性表按照键值存储方式进行存储;通过本发明,解决了相关技术中语义数据存储方法存储空间和查询效率不能兼顾的问题,进而节省了存储空间,提高了查询效率。

    存储调度方法和系统、作业调度方法和系统及管理节点

    公开(公告)号:CN103617083B

    公开(公告)日:2019-02-15

    申请号:CN201310534978.1

    申请日:2013-10-31

    Abstract: 本发明提出了一种根据路径可用带宽进行调度的存储调度方法和作业调度方法,还提出了与之相对应的管理节点、存储调度系统和作业调度系统。本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表,避免了网络拥塞并缩短了数据块存储的网络传输时间。本发明根据路径可用带宽信息为数据节点分配优选作业进行处理,提升了作业的本地化概率,并且减少了作业总完成时间。

    语义数据的存储方法及装置

    公开(公告)号:CN106326295A

    公开(公告)日:2017-01-11

    申请号:CN201510379367.3

    申请日:2015-07-01

    Inventor: 曲文武 王志坤

    CPC classification number: G06F17/30

    Abstract: 本发明提供了一种语义数据的存储方法及装置,其中,该方法包括:选择语义数据中的主题属性和主键属性,主题属性是语义数据中查询频率超过预定阈值的属性,主键属性是语义数据中数据逻辑描述的属性;计算主题属性的每个主题属性值对应的主键属性的主键属性值集合;将语义数据中属于同一个主键属性值集合的属性存储在同一节点上;在节点上为存储在节点中的每个属性建立属性表,以及对属性表按照键值存储方式进行存储;通过本发明,解决了相关技术中语义数据存储方法存储空间和查询效率不能兼顾的问题,进而节省了存储空间,提高了查询效率。

    一种数据分布方法和管理节点

    公开(公告)号:CN103678395A

    公开(公告)日:2014-03-26

    申请号:CN201210351902.0

    申请日:2012-09-20

    Inventor: 曲文武

    Abstract: 本发明公开了一种数据分布方法和管理节点,其中,所述方法包括:根据收到的交叉连接请求,获取需要进行交叉连接的表A和表B各自包括的子表的数目、子表的序列号、节点的数目和节点的序列号;将表A或表B包括的子表的序列号依次设置在横坐标或纵坐标方向,分别作为大矩形的长或宽,生成一个大矩形;根据构造的方法把所述大矩形分为两个子矩形,分别为第一子矩形和第二子矩形;对所述第一子矩形和第二子矩形分别进行均匀分割,形成若干小矩形,每个小矩形对应一个计算节点的序列号,并且与子表的序列号对应;将各小矩形所对应的子表分布到各小矩形对应的计算节点上。本发明能够减少传输的数据量,减轻网络传输负担。

    存储调度方法和系统、作业调度方法和系统及管理节点

    公开(公告)号:CN103617083A

    公开(公告)日:2014-03-05

    申请号:CN201310534978.1

    申请日:2013-10-31

    Abstract: 本发明提出了一种根据路径可用带宽进行调度的存储调度方法和作业调度方法,还提出了与之相对应的管理节点、存储调度系统和作业调度系统。本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表,避免了网络拥塞并缩短了数据块存储的网络传输时间。本发明根据路径可用带宽信息为数据节点分配优选作业进行处理,提升了作业的本地化概率,并且减少了作业总完成时间。

    自动问答方法及系统
    10.
    发明公开

    公开(公告)号:CN107545003A

    公开(公告)日:2018-01-05

    申请号:CN201610490478.6

    申请日:2016-06-28

    Inventor: 曲文武

    CPC classification number: G06F17/30

    Abstract: 本发明实施例提供一种自动问答方法及系统,从产品与服务数据中为用户问题生成答案数据,针对每一产品与服务数据集合对应一个路径,针对每一路径设置一个权值向量得到路径和权值对应关系表;当收到用户下发的用户问题后,则将该用户问题编码成特征向量,然后将特征向量与路径和权值对应关系表中的各权值向量进行匹配,在特征向量与其中一个权值向量匹配成功时,从该权值向量对应路径的答案数据中提取用户问题的答案反馈给用户。基于涵盖所有服务数据以及所有用户服务数据的产品与服务数据进行路径和权值向量设置,而不是基于标准问题库,因此能更好的覆盖用户问题,为用户更全面的提供自动解答,提升用户体验满意度。

Patent Agency Ranking