公开(公告)号：CN110263912A

公开(公告)日：2019-09-20

申请号：CN201910398140.1

申请日：2019-05-14

Applicant: 杭州电子科技大学

Inventor： 余宙 ,  俞俊 ,  汪亮

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种基于多目标关联深度推理的图像问答方法。本发明包括以下步骤：1、对图像和以其自然语言描述的文本进行数据预处理，2、基于候选框几何特征增强的适应性注意力模块模型，进行各目标的注意力机制重排序。3、基于AAM模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的深度神经网络，特别是提出一种对图像-问题文本的数据进行统一建模，在图像中各目标特征上进行推理，对各目标的注意力机制重排序从而更精确地对问题进行回答的方法，并且在图像问答领域中的获得较好效果。

公开(公告)号：CN110263912B

公开(公告)日：2021-02-26

申请号：CN201910398140.1

申请日：2019-05-14

Applicant: 杭州电子科技大学

Inventor： 余宙 ,  俞俊 ,  汪亮

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种基于多目标关联深度推理的图像问答方法。本发明包括以下步骤：1、对图像和以其自然语言描述的文本进行数据预处理，2、基于候选框几何特征增强的适应性注意力模块模型，进行各目标的注意力机制重排序。3、基于AAM模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的深度神经网络，特别是提出一种对图像‑问题文本的数据进行统一建模，在图像中各目标特征上进行推理，对各目标的注意力机制重排序从而更精确地对问题进行回答的方法，并且在图像问答领域中的获得较好效果。