公开(公告)号：CN116384403A

公开(公告)日：2023-07-04

申请号：CN202310426395.0

申请日：2023-04-19

Applicant: 东北大学

Inventor： 马连博 ,  贺美蕊

IPC: G06F40/295 ,  G06F40/216 ,  G06F40/284 ,  G06F16/35 ,  G06V20/30 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/0455

Abstract: 本发明设计一种基于场景图的多模态社交媒体命名实体识别方法；首先使用目标检测器提取图像中所包含的实体，并预测实体对之间的关系，用于生成图像场景图；其次使用图卷积神经网络对图像场景图中的实体节点及关系再次进行编码，从而引入上下文信息；然后使用图池化对整张图像场景图进行编码，并使用解码器为图像生成文本描述；最后将文本数据与图像的文本描述输入到预训练模型BERT继续更新每个单词的特征表示，使用CRF预测实体类型；本发明利用场景图来描述图像中实体及实体之间的关系，并将图像信息从图像语义空间映射至文本语义空间用于后续的信息融合，以减少两种模态数据在语义上的差距，从而提升识别的准确性。