公开(公告)号：CN112836043A

公开(公告)日：2021-05-25

申请号：CN202011093000.2

申请日：2020-10-13

Applicant: 讯飞智元信息科技有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 张震 ,  石瑾 ,  李鹏 ,  王玉杰 ,  张浩宇 ,  贾国庆 ,  吴飞

IPC: G06F16/35 ,  G06K9/62

Abstract: 本发明公开了一种基于预训练语言模型的长文本聚类方法及装置，该方法包括：步骤SS1：使用文本摘要模型将长文本压缩为短文本；步骤SS2：根据步骤SS1获得的所述短文本与BERT模型的有标签文本句子对来预测是否两个文本包含相同的事件，生成文本对初始分数；步骤SS3：使用步骤SS2获得的所述文本对初始分数作为初始分数，根据文本对相较于其他文本的关系来重新计算分数；步骤SS4：根据步骤SS3获得的文本对分数，从得分最高的文本对开始计算分组。本发明运用深度学习方法的同时，采用迁移学习，将大规模预训练模型应用到文本聚类中。

公开(公告)号：CN114265932A

公开(公告)日：2022-04-01

申请号：CN202111530106.9

申请日：2021-12-10

Applicant: 国家计算机网络与信息安全管理中心广东分中心 ,  讯飞智元信息科技有限公司

Inventor： 周小敏 ,  应鸿晖 ,  刁则鸣 ,  聂芹芹 ,  石易 ,  王玉杰 ,  张震 ,  吴飞 ,  卓采标 ,  方四安 ,  李博

IPC: G06F16/35 ,  G06F40/30 ,  G06F40/211 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08 ,  G06Q50/00

Abstract: 本发明公开一种融入深度语义关系分类的事件脉络生成方法及系统，所述方法包括如下步骤：对新闻数据集合进行分词，合并后生成词文档序列；训练主题模型，利用训练好的主题模型来完成主题的聚类，得到主题聚类结果；将所有的关键词拼接后输入到bert模型中，最终的新闻文本向量表示为所有token的向量的平均；对于每个主题下获得的所有事件进行分支确定，得到每个主题对应的分支集合，将每个分支中的事件按照时间先后顺序连接，并将分支也按照时间先后顺序连接，即按照分支中最早事件的时间先后顺序连接，最终获得事件脉络。本发明通过结合基于主题模型的文本聚类方法和基于深度语义的事件聚类方法完成事件脉络的生成过程。