一种流式数据主题挖掘方法及其系统

    公开(公告)号:CN107992474B

    公开(公告)日:2021-04-27

    申请号:CN201711193285.5

    申请日:2017-11-24

    摘要: 本发明涉及一种流式数据主题挖掘方法及其系统,该挖掘方法包括:对结构化数据进行筛选,得到主题数据,提取主题数据的主题实体和主题关键词,分别生成主题实体集合和主题关键词集合;提取候选新闻数据的新闻实体和新闻关键词,分别生成新闻实体集合和新闻关键词集合;分别计算得到实体相关度、关键词相关度和核心词相关度;计算候选新闻数据与主题数据的新闻主题相似度,并将新闻主题相似度大于预设阈值的候选新闻数据导入合格新闻数据集合。本发明能够从海量的实时流式数据中准确找到用户关注的特定主题的相关新闻,保证了该主题下新闻的实时性、准确性,以及该主题下新闻动态的变化过程,并对新闻内容进行了分析。

    一种流式数据主题挖掘方法及其系统

    公开(公告)号:CN107992474A

    公开(公告)日:2018-05-04

    申请号:CN201711193285.5

    申请日:2017-11-24

    IPC分类号: G06F17/27 G06F17/30

    摘要: 本发明涉及一种流式数据主题挖掘方法及其系统,该挖掘方法包括:对结构化数据进行筛选,得到主题数据,提取主题数据的主题实体和主题关键词,分别生成主题实体集合和主题关键词集合;提取候选新闻数据的新闻实体和新闻关键词,分别生成新闻实体集合和新闻关键词集合;分别计算得到实体相关度、关键词相关度和核心词相关度;计算候选新闻数据与主题数据的新闻主题相似度,并将新闻主题相似度大于预设阈值的候选新闻数据导入合格新闻数据集合。本发明能够从海量的实时流式数据中准确找到用户关注的特定主题的相关新闻,保证了该主题下新闻的实时性、准确性,以及该主题下新闻动态的变化过程,并对新闻内容进行了分析。

    一种实体关系自动识别方法及系统

    公开(公告)号:CN107944559B

    公开(公告)日:2021-04-27

    申请号:CN201711190865.9

    申请日:2017-11-24

    IPC分类号: G06N5/02 G06N3/04

    摘要: 本发明涉及一种实体关系自动识别方法及系统,该方法包括:训练卷积神经网络得到实体关系识别模型;获取对应待确认实体组的相关语料库;将相关语料进行分词,并将分词得到的相关词语转化为相关词向量;将相关词向量按相关语料转化为矩阵作为实体关系识别模型的输入,得到相关关系种类和相关关系种类的相似度值,将相似度值高的相关关系种类作为待确认实体组的关系种类。本发明通过锻炼卷积神经网络作为实体关系识别模型,在出现新增实体时,计算得到一系列新增实体组的关系种类,并得出每一项关系种类的相似度值,通过具体的数值来确定相关关系种类的程度,提高得到的新增实体组之间关系种类的准确性。

    一种实体关系自动识别方法及系统

    公开(公告)号:CN107944559A

    公开(公告)日:2018-04-20

    申请号:CN201711190865.9

    申请日:2017-11-24

    IPC分类号: G06N5/02 G06N3/04

    CPC分类号: G06N5/022 G06N3/0454

    摘要: 本发明涉及一种实体关系自动识别方法及系统,该方法包括:训练卷积神经网络得到实体关系识别模型;获取对应待确认实体组的相关语料库;将相关语料进行分词,并将分词得到的相关词语转化为相关词向量;将相关词向量按相关语料转化为矩阵作为实体关系识别模型的输入,得到相关关系种类和相关关系种类的相似度值,将相似度值高的相关关系种类作为待确认实体组的关系种类。本发明通过锻炼卷积神经网络作为实体关系识别模型,在出现新增实体时,计算得到一系列新增实体组的关系种类,并得出每一项关系种类的相似度值,通过具体的数值来确定相关关系种类的程度,提高得到的新增实体组之间关系种类的准确性。

    微博深度分类方法及系统

    公开(公告)号:CN105843957A

    公开(公告)日:2016-08-10

    申请号:CN201610236172.8

    申请日:2016-04-15

    IPC分类号: G06F17/30 G06F17/27

    摘要: 本发明实施例提供一种微博深度分类方法及系统,该方法包括:将分词处理后的第一微博训练样本数据分别与各第一筛选词库进行词汇匹配,确定所述第一微博训练样本数据在所述各第一筛选词库中出现的词汇频率;将所述第一微博训练样本数据在所述各第一筛选词库中出现的词汇频率进行归一化处理,并将归一化处理后的数据输入学习模型;根据所述学习模型的输出确定微博事件分类模型;根据所述微博事件分类模型对微博文本进行分类。本发明实施例提供的微博深度分类方法及系统,能够对微博文本进行深入的细化分类,提高微博文本的分类正确率。