公开(公告)号：CN116340506A

公开(公告)日：2023-06-27

申请号：CN202310003775.3

申请日：2023-01-03

Applicant: 重庆邮电大学

Inventor： 唐贤伦 ,  周朝宇 ,  谢颖 ,  万辉 ,  丁河长 ,  党晓圆 ,  徐梓辉 ,  孙霞 ,  王会明

IPC: G06F16/35 ,  G06F40/30 ,  G06N3/08 ,  G06F40/242 ,  G06F40/289 ,  G06N3/0464

Abstract: 本发明请求保护一种基于BERT和无池化卷积神经网络的文本分类方法，步骤包括：对原始中文新闻文本进行分词、转换文本序列等预处理；将新闻文本输入BERT模型中得到词嵌入向量输出，基于BERT模型的多头注意力机制可以更充分地保留全局语义信息；将词嵌入向量输入卷积神经网络并对卷积神经网络进行优化，在卷积层使用三个不同大小的卷积核提取更加丰富的局部语义信息，以及取消池化层避免池化操作造成的部分语义信息丢失问题；将训练得到的参数作为网络模型的初始参数；最后将无池化卷积神经网络的输出输入全连接层实现分类。本发明具有良好的收敛性和稳定性，同时能够提高文本分类准确率。

公开(公告)号：CN117709459A

公开(公告)日：2024-03-15

申请号：CN202311835977.0

申请日：2023-12-28

Applicant: 重庆邮电大学

Inventor： 唐贤伦 ,  丁河长 ,  杨峤 ,  张浩川 ,  党晓圆 ,  刘庆 ,  谢颖 ,  黄健 ,  邹密

IPC: G06N5/025 ,  G06N5/04 ,  G06N3/045 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/048 ,  G06F16/36

Abstract: 本发明请求保护一种基于潜在关系融合和图卷积网络的文档关系抽取方法。首先，通过预训练模型对文档中的词进行上下文信息编码。针对所有包含目标实体指代的句子，利用依存关系提取实体指代对之间包含有潜在关系信息的最短依赖路径。引入注意力机制，将最短依赖路径中的潜在信息与实体指代融合。随后，将融合后的所有实体指代作为实体指代节点，将相关句子作为句子节点，构建实体指代图。最后，利用图卷积神经网络学习不同实体指代之间的交互信息以及跨文档的实体指代感知表示。对于每个实体对的表示，采用Sigmoid激活函数进行关系分类。这一方法能够从文档中提取实体对之间的关系，在构建知识图谱等任务中有着潜在的应用前景。