公开(公告)号：CN111046668B

公开(公告)日：2023-09-22

申请号：CN201911230004.8

申请日：2019-12-04

Applicant: 北京信息科技大学

Inventor： 杨鸿波 ,  侯霞 ,  胡玉针

IPC: G06F40/295 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明提供了一种基于自适应联合注意力网络的多模态文物数据的命名实体识别NER方法，所述多模态文物数据包括文本和图像信息；结合视觉信息在多模态文物数据上识别命名实体；基于所述自适应联合注意力网络构建处理多模态数据的神经网络模型，其用于学习文本和图像之间的共享语义，首先从序列标注的角度进行处理；将NER任务看作序列标注问题，并结合注意力机制，以编码器‑解码器为基本框架，在文本和图像特征融合方面采用自适应联合注意力网络自动融合信息，采用门控单元来自动选择是否需要视觉信息；基于自适应联合注意力网络，结合视觉信息在多模态文物数据上识别命名实体；并使用过滤门单元来过滤图像引入带来的噪音。

公开(公告)号：CN111046668A

公开(公告)日：2020-04-21

申请号：CN201911230004.8

申请日：2019-12-04

Applicant: 北京信息科技大学

Inventor： 杨鸿波 ,  侯霞 ,  胡玉针

IPC: G06F40/295 ,  G06N3/04

Abstract: 本发明提供了一种基于自适应联合注意力网络的多模态文物数据的命名实体识别NER方法，所述多模态文物数据包括文本和图像信息；结合视觉信息在多模态文物数据上识别命名实体；基于所述自适应联合注意力网络构建处理多模态数据的神经网络模型，其用于学习文本和图像之间的共享语义，首先从序列标注的角度进行处理；将NER任务看作序列标注问题，并结合注意力机制，以编码器-解码器为基本框架，在文本和图像特征融合方面采用自适应联合注意力网络自动融合信息，采用门控单元来自动选择是否需要视觉信息；基于自适应联合注意力网络，结合视觉信息在多模态文物数据上识别命名实体；并使用过滤门单元来过滤图像引入带来的噪音。