公开(公告)号：CN118553369A

公开(公告)日：2024-08-27

申请号：CN202410687876.1

申请日：2024-05-30

Applicant: 杭州电子科技大学

Inventor： 杨艳 ,  孙佳美 ,  俞俊 ,  尤晓兴 ,  彭云

IPC: G16H15/00 ,  G16H30/00 ,  G06N5/022 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于知识增强跨模态语义关联的胸片报告生成方法。本发明使用视觉编码器提取影像的视觉序列；通过语言编码器提取对应报告的语言序列；从医学实体知识库中抽取与胸片紧密相关的医学实体知识，通过交叉注意力网络将医学实体知识融合到视觉序列和语言序列中。最后，将知识融合后的视觉序列和语言序列交替作为文本生成解码器的提示符号，以自回归文本生成的方式解码生成含有医学主题词的报告。本发明提出含有回溯学习的训练策略，通过提取生成报告的回溯语言序列，拉近回溯语言序列和语言序列的距离，进一步增强跨模态一致性。本发明有效地通过医学先验知识和回溯学习策略增强跨模态语义关联，适用于胸片报告生成领域。