一种Impala与HBase之间的高效数据传输方法及系统

    公开(公告)号:CN106648934B

    公开(公告)日:2019-12-03

    申请号:CN201611228895.X

    申请日:2016-12-27

    Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括:步骤1,将Impala发出的查询语句编译为查询指令,该查询指令的数量与HBase的Region的数量相同;步骤2,每个该查询指令对应查询该HBase的一个Region,所有该查询指令并行对该HBase进行查询,所获得的查询结果并行传输至一缓冲区;步骤3,以socket的方式,将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能,且通过采用以socket传输二进制数据的方式,使得本发明在数据传输层,没有序列化以及反序列化的开销,不存在性能瓶颈,使得传输性能比JNI的传输方式更加高效。

    一种复杂实体抽取方法、装置、介质及系统

    公开(公告)号:CN110502742A

    公开(公告)日:2019-11-26

    申请号:CN201910625736.0

    申请日:2019-07-11

    Abstract: 本发明涉及一种复杂实体抽取方法,用于迭层膨胀卷积神经网络,该神经网络包括字级别迭层膨胀卷积神经网络层和词级别迭层膨胀卷积神经网络层,该方法包括:语料生成步骤,用于构建实体语料集,以采集语料,并对该语料进行自定义格式标注,形成训练集、测试集和/或验证集;字级别向量生成步骤,用于对该语料进行预训练,生成字向量,并将该字向量输入该字级别迭层膨胀卷积神经网络层,得到字级别向量;自定义特征提取步骤,用于从自由文本中提取所述自定义格式标注的特征;实体抽取步骤,将所述字级别向量进行拼接后,与所述词级别特征输入该词级别迭层膨胀卷积神经网络层,对所述自由文本进行复杂实体的抽取。该方法提高了实体抽取的精度和效率。

    一种基于表示向量的作品标签推荐方法和系统

    公开(公告)号:CN107391577A

    公开(公告)日:2017-11-24

    申请号:CN201710469315.4

    申请日:2017-06-20

    Abstract: 本发明涉及一种基于表示向量的标签推荐方法和系统,其特征在于,包括:获取多个作品,根据每个作品对应的标签、关系及对象,构建多个包含作品和标签的二元组信息和包含作品、关系及对象的三元组信息,根据二元组信息和三元组信息生成训练数据集;通过对训练数据集进行表示学习,分别得到各个作品的作品表示向量和各类标签的标签表示向量;通过计算各个作品表示向量和各类标签表示向量之间的距离,从各类标签中筛选出各个作品的推荐标签。本发明在学习表示向量的过程中,本发明同时考虑作品标签对二元组信息和作品的三元组信息。通过融入更多信息,使得学到的表示向量能够更准确地反映作品和标签的语义,从而更好地支持标签推荐这一任务。

    知识库问答系统中的实体链接方法

    公开(公告)号:CN109271524B

    公开(公告)日:2021-10-15

    申请号:CN201810870053.7

    申请日:2018-08-02

    Abstract: 本发明提供一种知识库问答系统中的实体链接方法,包括:从问句中获取主题词集合;根据获取的主题词集合在知识库中进行搜索,得到初步候选实体集合;对于所述初步候选实体集合中的每个实体,从该实体、所述问句以及所述知识库提取相应的特征;以及,根据提取到的所述初步候选实体集合中的每个实体的特征,得到该实体的评分,并且根据评分得到候选实体集合;本发明提高了实体链接的准确性和效率。

    一种基于表示向量的作品标签推荐方法和系统

    公开(公告)号:CN107391577B

    公开(公告)日:2020-04-03

    申请号:CN201710469315.4

    申请日:2017-06-20

    Abstract: 本发明涉及一种基于表示向量的标签推荐方法和系统,其特征在于,包括:获取多个作品,根据每个作品对应的标签、关系及对象,构建多个包含作品和标签的二元组信息和包含作品、关系及对象的三元组信息,根据二元组信息和三元组信息生成训练数据集;通过对训练数据集进行表示学习,分别得到各个作品的作品表示向量和各类标签的标签表示向量;通过计算各个作品表示向量和各类标签表示向量之间的距离,从各类标签中筛选出各个作品的推荐标签。本发明在学习表示向量的过程中,本发明同时考虑作品标签对二元组信息和作品的三元组信息。通过融入更多信息,使得学到的表示向量能够更准确地反映作品和标签的语义,从而更好地支持标签推荐这一任务。

Patent Agency Ranking