公开(公告)号：CN117235670A

公开(公告)日：2023-12-15

申请号：CN202311490620.3

申请日：2023-11-10

Applicant: 南京信息工程大学

Inventor： 吴梓恒 ,  陆振宇 ,  舒昕垚

IPC: G06F18/25 ,  G06F18/24 ,  G16H50/20 ,  G06F16/583 ,  G06F16/55 ,  G06F16/33 ,  G06F16/35 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本申请涉及一种基于细粒度交叉注意力的医学影像问题视觉解答方法。该方法包括：获取放射性医疗图像和所述放射性医疗图像对应症状问题的文本数据，采用细粒度视觉特征提取模块对所述放射性医疗图像进行局部特征提取，获得局部图像特征，采用文本特征提取模块对所述文本数据进行特征提取，获得文本特征，再将由局部图像特征和文本特征组成的多模态特征对输入到交叉模态编码器模块进行多模态特征融合，获得融合后的特征，进而将所述融合后的特征输入到答案预测模块中进行答案预测，获得答案预测结果，以根据所述答案预测结果对所述症状问题进行解答，从而提高了医学视觉问题解答的准确性。