一种数据标准化智能处理方法及装置

    公开(公告)号:CN114547165A

    公开(公告)日:2022-05-27

    申请号:CN202210060268.9

    申请日:2022-01-19

    Abstract: 本发明公开了一种数据标准化智能处理方法及装置。该方法包括:创建初始消息队列;创建结果消息队列;根据初始数据处理策略,从数据仓库中获取、组织待处理的数据,推送到消息总线;对消息总线中的消息进行解析、执行标准化处理,根据结果数据处理策略把结果写回消息总线;对消息总线中的结果消息进行解析并更新到数据仓库。本发明由用户通过配置数据标准化知识库实现实例化和个性化定制,采用消息总线解耦数据源和数据标准化处理功能,具备很好的适应性和可扩展性。本发明实现对多来源、内容格式不一致的数据的统一规范化处理,形成标准化数据,提升数据标准化处理的智能化和自动化程度,降低人工操作错误率,从而提高了数据处理效率和数据质量。

    一种面向弱结构相关性的多模式图索引构建方法及系统

    公开(公告)号:CN109783696B

    公开(公告)日:2021-06-04

    申请号:CN201811466997.4

    申请日:2018-12-03

    Abstract: 本发明公开了一种面向弱结构相关性的多模式图索引构建方法及系统。本方法为:1)读取目标领域的模式图集合中的模式图并为每一模式图生成一模式图标志ID;2)构建模式图同构树:对各模式图进行两两判断,如果两个模式图之间存在子图同构关系,则添加一条从规模较小模式图指向规模较大模式图的有向边,得到模式图集合的模式图同构树;3)对模式图同构树进行频繁子图挖掘,找到公共模式图并将其加入到模式图同构树中;4)当模式图同构树中存在一子模式图具有多个父模式图时,则为该子模式图保留唯一的父模式图;5)计算模式图同构树的最小生成树,并对其进行深度优先遍历,得到模式图集的最优匹配顺序。本发明能够大大提高匹配效率。

    一种基于支持向量机的面向智能专家推荐的用户画像方法

    公开(公告)号:CN111597330A

    公开(公告)日:2020-08-28

    申请号:CN201910129637.3

    申请日:2019-02-21

    Abstract: 本发明公开了一种基于支持向量机的面向智能专家推荐的用户画像方法,其步骤包括:1)利用设定专家的个人信息,获取一专家信息数据集;2)对该专家信息数据集中的每一条专家信息处理为一个由词语序列构建而成的句子;3)计算每篇文档中的每个词语的TF-IDF值,构成TF-IDF权重矩阵tdm;4)利用该TF-IDF权重矩阵tdm生成TF-IDF特征空间;然后在该TF-IDF特征空间中构建并训练支持向量机模型;5)根据待构建画像专家的文本信息生成对应TF-IDF值,然后在该TF-IDF特征空间中利用训练后的支持向量机模型对该TF-IDF值进行分类,生成该待构建画像专家的用户画像。本方法用户画像准确性高。

    一种基于图卷积神经网络的文本分类方法及系统

    公开(公告)号:CN110929029A

    公开(公告)日:2020-03-27

    申请号:CN201911064089.7

    申请日:2019-11-04

    Abstract: 本发明公开了一种基于图卷积神经网络的文本分类方法及系统。本方法为:1)对于目标领域的文本训练集中的每一已类别标注文本,根据该文本中词的词频、逆文档率生成该文本的文本特征向量;将各文本特征向量组合生成一文本特征矩阵,即TF-IDF矩阵,并根据词的词向量相似度构建一该文本训练集的图结构;2)利用所述图结构及文本特征矩阵训练图卷积神经网络;3)对于该目标领域的一待分类文本a,将该文本a的文本特征向量输入训练后的图卷积神经网络,得到该文本a的类别。本发明不仅考虑到文本的语义结构信息,而且从另一个角度捕捉文本的隐藏特征,分类准确性高。

    一种基于图文融合的生成式摘要生成方法

    公开(公告)号:CN110704606A

    公开(公告)日:2020-01-17

    申请号:CN201910764261.3

    申请日:2019-08-19

    Abstract: 本发明公开了一种基于图文融合的生成式摘要生成方法,其步骤包括:1)将给定的文本数据集划分为训练集、验证集和测试集;其中,文本数据集中的每一样本是一三元组(X,I,Y),X是文本,I是文本X对应的图像,Y是文本X的摘要;2)对文本数据集的图像进行实体特征提取,并将提取的实体特征表示成与文本同维度的图像特征向量;3)使用训练集和训练集对应的图像特征向量对生成式摘要模型进行训练;4)输入一条文本和对应图像并生成该图像的图像特征向量,然后将该文本及其对应的图像特征向量输入到训练后的生成式摘要模型,得到该文本对应的摘要。本发明生成的摘要可以有效地调整文本中实体的权重,在一定程度缓解未登录词的问题。

    基于字符集变换的自动机空间压缩方法及系统

    公开(公告)号:CN110401451A

    公开(公告)日:2019-11-01

    申请号:CN201910505421.2

    申请日:2019-06-12

    Abstract: 本发明提供一种基于字符集变换的自动机空间压缩方法,步骤包括:将模式串集构建成自动机,并生成状态转移矩阵;读取状态转移矩阵的各个状态行,计算最佳变换参数、最小有效后继状态和最大有效后继状态;根据状态转移矩阵和最佳变换参数,记录数据结构,将状态行替换为变换后的有效状态行;读取目标文本的字符,根据字符当前状态,利用双射函数进行字符变换,得到变换后的字符,符合条件下得到后继状态,实现压缩。本发明还提供一种基于字符集变换的自动机空间压缩系统,包括规则编译器、变换参数生成器、状态行变换器、比较器、压缩自动机存储器、状态寄存器、字符集变换器及文本扫描器。

    一种面向弱结构相关性的多模式图索引构建方法及系统

    公开(公告)号:CN109783696A

    公开(公告)日:2019-05-21

    申请号:CN201811466997.4

    申请日:2018-12-03

    Abstract: 本发明公开了一种面向弱结构相关性的多模式图索引构建方法及系统。本方法为:1)读取目标领域的模式图集合中的模式图并为每一模式图生成一模式图标志ID;2)构建模式图同构树:对各模式图进行两两判断,如果两个模式图之间存在子图同构关系,则添加一条从规模较小模式图指向规模较大模式图的有向边,得到模式图集合的模式图同构树;3)对模式图同构树进行频繁子图挖掘,找到公共模式图并将其加入到模式图同构树中;4)当模式图同构树中存在一子模式图具有多个父模式图时,则为该子模式图保留唯一的父模式图;5)计算模式图同构树的最小生成树,并对其进行深度优先遍历,得到模式图集的最优匹配顺序。本发明能够大大提高匹配效率。

    一种基于结构相关性的多模式图匹配方法

    公开(公告)号:CN107885797A

    公开(公告)日:2018-04-06

    申请号:CN201711023877.2

    申请日:2017-10-27

    CPC classification number: G06F17/30277

    Abstract: 本发明针对多模式图匹配问题,提出一种基于结构相关性的多模式图匹配方法,能够解决冗余计算问题,基于模式图结构相关性,在增加少量额外空间的前提下,提高了图模式匹配的整体性能。本发明主要是通过利用模式图之间的结构相关性,建立模式图之间的结构继承关系,将原本相互独立的模式图表示为一个整体数据结构,该数据结构保留了所有模式图需要匹配的非重复部分。同时重新规划了模式图匹配的顺序,使得在数据图中进行匹配时,可以避免多次匹配模式图中结构重复的部分,从而大大提升了图模式匹配的时间性能,达到加速计算的目的。

    一种串匹配场景下数据集生成方法、设备和可读存储介质

    公开(公告)号:CN107515897A

    公开(公告)日:2017-12-26

    申请号:CN201710589808.1

    申请日:2017-07-19

    CPC classification number: G06F16/90344

    Abstract: 本发明涉及一种串匹配场景下数据集生成方法、设备和可读存储介质。该方法包括以下步骤:1)独立地生成模式串的每个字符,形成预设规模和预设长度的随机模式串集合;2)根据已生成的随机模式串集合,构造指定命中水平的文本数据集;3)输出生成的随机模式串集合和文本数据集。该设备包括通过总线连接的接收器、处理器、存储器和发送器,所述存储器用于存储串匹配场景下数据集生成指令。本发明能够生成预设规模预设长度的随机模式串集合,根据已生成的随机模式串集合可以构造指定命中水平的文本数据集,该随机模式串集合和文本数据集能够用于串匹配算法的功能测试和性能测试,对串匹配算法的进一步研究和性能提升有重要的作用。

Patent Agency Ranking