公开(公告)号：CN116956922A

公开(公告)日：2023-10-27

申请号：CN202310909646.0

申请日：2023-07-24

Applicant: 北京理工大学东南信息技术研究院 ,  北京理工大学

Inventor： 黄河燕 ,  单则安 ,  王博 ,  冯冲

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/0499

Abstract: 本发明涉及一种利用大语言模型增强的生成式跨语言事件抽取方法，属于计算机人工智能和自然语言处理技术领域。本方法首先使用大语言模型，将各语言的文本信息进行事件预抽取，得到各种语言的大模型事件抽取结果，并将其解析为可用的文本提示为模型训练做准备，然后构建训练所需的文本提示，将输入的文本提示向量化表示，最后使用得到的隐藏层计算二元损失，解码隐藏层向量，将解码损失和二元损失加权相加反向传播，并将向量转化为文本。本方法有效解决了模型跨语言事件抽取困难的问题，提升了知识提示的正面效果，做到了知识提示程度的可控管理，显著增强了生成式跨语言事件的抽取性能。

公开(公告)号：CN112686040B

公开(公告)日：2022-08-23

申请号：CN202011626720.0

申请日：2020-12-31

Applicant: 北京理工大学 ,  北京理工大学东南信息技术研究院

Inventor： 黄河燕 ,  刘啸

IPC: G06F40/289 ,  G06N3/04

Abstract: 本发明公开了一种基于图循环神经网络的事件事实性检测方法，属于信息抽取技术和计算机自然语言处理技术领域。本发明通过训练一个图循环神经网络事件事实性检测器，有效利用依存树中的信息，将其中包含丰富信息的边类别标签和方向信息与神经网络进行结合，同时，利用参数共享的性质缓解过拟合的风险。本方法，克服了传统方法没有将依存树中包含丰富信息的边类别标签和方向信息结合进神经网络中的缺陷，提高信息利用率。通过利用参数共享机制，规避了堆叠图网络层数来建模依存树中的多跳路径时因参数线性增长而导致的容易过拟合的风险。

公开(公告)号：CN112686040A

公开(公告)日：2021-04-20

申请号：CN202011626720.0

申请日：2020-12-31

Applicant: 北京理工大学 ,  北京理工大学东南信息技术研究院

Inventor： 黄河燕 ,  刘啸

IPC: G06F40/289 ,  G06N3/04

Abstract: 本发明公开了一种基于图循环神经网络的事件事实性检测方法，属于信息抽取技术和计算机自然语言处理技术领域。本发明通过训练一个图循环神经网络事件事实性检测器，有效利用依存树中的信息，将其中包含丰富信息的边类别标签和方向信息与神经网络进行结合，同时，利用参数共享的性质缓解过拟合的风险。本方法，克服了传统方法没有将依存树中包含丰富信息的边类别标签和方向信息结合进神经网络中的缺陷，提高信息利用率。通过利用参数共享机制，规避了堆叠图网络层数来建模依存树中的多跳路径时因参数线性增长而导致的容易过拟合的风险。

公开(公告)号：CN115114930A

公开(公告)日：2022-09-27

申请号：CN202210554500.4

申请日：2022-05-19

Applicant: 北京理工大学 ,  中国科学院信息工程研究所

Inventor： 黄河燕 ,  徐永秀 ,  胡玥 ,  尤浩 ,  张家瑞

IPC: G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于序列到森林的非连续实体识别方法，为了更好地刻画实体内部组块之间的依赖性，使用森林结构建模文本中实体集；采用基于神经网络的“编码器‑解码器”生成框架，实现序列到森林的生成过程；在编码器端，首先采用基于Transformer的编码器捕获文本中每个词的全局依赖特征，然后再使用卷积神经网络进一步捕获词的局部依赖特征；在解码器端，设计了基于“便签”机制的注意力模块，可捕获每个解码时刻的输出与输入之间的语义关联性。本发明的有益效果是：可保证实体间的无序性以及实体内部的有效性，可有效捕获实体组块之间的关联性，可有效提高模型对非连续实体的识别能力，可适应于连续实体识别的场景。