公开(公告)号：CN115394397A

公开(公告)日：2022-11-25

申请号：CN202210563429.6

申请日：2022-05-20

Applicant: 北京工业大学

Inventor： 张晓丹 ,  宋晓 ,  冀俊忠

IPC: G16H15/00 ,  G16H50/70 ,  G06V10/42 ,  G06V10/74 ,  G06V10/82 ,  G06V30/418 ,  G06F40/30

Abstract: 本发明涉及一种基于跨模态对比注意力的医学报告自动生成的方法，具体分为编码和解码两个阶段，编码阶段包含三个子模块：视觉注意力模块VAM、视觉对比注意力模块VCAM和跨模态注意力模块CAM，其中，VAM提取输入图像的视觉特征；另外，通过对比当前图像和过往相似案例图像之间的视觉差异性和相似性：VCAM利用差异性引导注意力模型关注当前图像独特的异常视觉区域；CMAM利用相似性引导注意力模型实现对过往相似案例报告中有效词的跨模态匹配。解码阶段由并行注意力模块PAM组成，并行计算编码阶段得到的编码特征来指导生成医学报告。本发明在自然语言评价指标和临床评价指标上做了充分实验，实验结果展示了所提出方法的有效性。