公开(公告)号：CN113779298B

公开(公告)日：2023-10-31

申请号：CN202111085818.4

申请日：2021-09-16

Applicant: 哈尔滨工程大学

Inventor： 潘海为 ,  何舒宁 ,  张可佳 ,  陈春伶 ,  史坤

IPC: G06F16/583 ,  G06F16/55 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/084 ,  G16H30/40

Abstract: 本发明属于医学影像和人工智能交叉技术领域，具体涉及一种基于复合损失的医学视觉问答方法。本发明针对大多医学视觉问答专注于视觉内容而忽略了文本重要性的问题，在对图像和问题提取特征后采用多视角注意力机制将问题与图像和单词相关联，并采用分类损失和图像问题互补损失共同训练整个模型，补偿了现有的大多数医学视觉问答方法忽略了挖掘文本信息重要性的问题，实现了多角度对问题的关注，从而提高医学视觉问答方法的有效性。本发明可以有效解决医学视觉问答任务。

公开(公告)号：CN113779298A

公开(公告)日：2021-12-10

申请号：CN202111085818.4

申请日：2021-09-16

Applicant: 哈尔滨工程大学

Inventor： 潘海为 ,  何舒宁 ,  张可佳 ,  陈春伶 ,  史坤

IPC: G06F16/583 ,  G06F16/55 ,  G06N3/04 ,  G06N3/08 ,  G16H30/40

Abstract: 本发明属于医学影像和人工智能交叉技术领域，具体涉及一种基于复合损失的医学视觉问答方法。本发明针对大多医学视觉问答专注于视觉内容而忽略了文本重要性的问题，在对图像和问题提取特征后采用多视角注意力机制将问题与图像和单词相关联，并采用分类损失和图像问题互补损失共同训练整个模型，补偿了现有的大多数医学视觉问答方法忽略了挖掘文本信息重要性的问题，实现了多角度对问题的关注，从而提高医学视觉问答方法的有效性。本发明可以有效解决医学视觉问答任务。