公开(公告)号：CN114201592B

公开(公告)日：2024-07-23

申请号：CN202111461563.7

申请日：2021-12-02

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  陈珂佳 ,  方豪度 ,  赖廷杰

IPC: G06F16/332 ,  G16H50/20 ,  G06V10/764 ,  G06V10/766 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N5/04

Abstract: 本发明请求保护一种面向医学图像诊断的视觉问答方法，属于及医学图像处理、自然语言处理、多模态融合领域，其包括以下步骤：获取医学影像和对应相关医学问题；对图像病灶目标和医学问题文本分别进行特征提取，捕捉问题词之间的依赖关系进行文本表示学习，得到每个图像区域和问题的相关性；通过与影像特征和位置特征交互，对同一病灶目标进行处理，实现关系关联建模，获得不同目标的相对位置关系，用于多模态特征的匹配；引入交叉引导的多模态特征融合堆叠方式，捕捉多模态之间的复杂交互关系；设计选取融合方式和分类器，运用到医学问答中，实现面向医学图像诊断的视觉问答研究。

公开(公告)号：CN114201592A

公开(公告)日：2022-03-18

申请号：CN202111461563.7

申请日：2021-12-02

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  陈珂佳 ,  方豪度 ,  赖廷杰

IPC: G06F16/332 ,  G06K9/62 ,  G06N3/04 ,  G16H50/20 ,  G06V10/764 ,  G06V10/766 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明请求保护一种面向医学图像诊断的视觉问答方法，属于及医学图像处理、自然语言处理、多模态融合领域，其包括以下步骤：获取医学影像和对应相关医学问题；对图像病灶目标和医学问题文本分别进行特征提取，捕捉问题词之间的依赖关系进行文本表示学习，得到每个图像区域和问题的相关性；通过与影像特征和位置特征交互，对同一病灶目标进行处理，实现关系关联建模，获得不同目标的相对位置关系，用于多模态特征的匹配；引入交叉引导的多模态特征融合堆叠方式，捕捉多模态之间的复杂交互关系；设计选取融合方式和分类器，运用到医学问答中，实现面向医学图像诊断的视觉问答研究。