公开(公告)号：CN117010389A

公开(公告)日：2023-11-07

申请号：CN202310801931.0

申请日：2023-07-03

Applicant: 哈尔滨工程大学

Inventor： 李丽洁 ,  宋艳然 ,  韩启龙 ,  宋洪涛

IPC: G06F40/295 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/0895 ,  G06V10/40 ,  G06V10/82

Abstract: 基于去偏置对比学习的多模态融合命名实体识别方法、设备、介质和产品，属于知识挖掘和知识管理技术领域，解决多模态融合命名实体识别准确度低问题。本发明的方法包括：建立多模态融合模块来生成跨模态语义信息，在该模块中添加跨模态门控机制去除模态间噪声；该模块还引入一个去偏置对比学习方法，引入难分样本挖掘策略来处理视觉对象数量上的偏差，并引入去偏置对比损失。其次，本发明采用GlobalPointer(GP)作为NER解码器用来提升模型对实体边界信息处理能力，设计一个交叉熵损失函数来促使模型学习每个训练支持实例的跨度边界信息。本发明适用于命名实体识别，具体为将文本和图像等多种模态数据结合起来，挖掘文本和图片中的语义关系。