公开(公告)号：CN115171838A

公开(公告)日：2022-10-11

申请号：CN202211018319.8

申请日：2022-08-24

Applicant: 中南大学

Inventor： 赵荣昌 ,  唐晟

IPC: G16H15/00 ,  G06N3/04 ,  G06F40/126 ,  G06F40/30 ,  G06T7/00 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明实施例中提供了一种基于跨模态融合的医学报告生成模型的训练方法，属于数据处理技术领域，具体包括：得到第一图像特征；关联细粒度异常区域，得到第二图像特征，以及，提取粗粒度疾病语义信息，得到第三图像特征；将第二图像特征和第三图像特征输入交叉注意力模块建模多尺度关联，得到第四图像特征；将第四图像特征和t‑1轮的第一文本特征输入文本生成模块，得到模态不变性特征；根据模态不变性特征得到第t轮医学文本预测结果，直到完成文本序列每一轮的预测，并结合源图像对应的文本标签计算文本生成损失；根据文本生成损失迭代训练得到训练好的医学报告生成模型。通过本发明的方案，实现跨模态识别，且提高了模型识别精度和鲁棒性。

公开(公告)号：CN115171838B

公开(公告)日：2023-04-07

申请号：CN202211018319.8

申请日：2022-08-24

Applicant: 中南大学

Inventor： 赵荣昌 ,  唐晟

IPC: G16H15/00 ,  G06N3/0464 ,  G06F40/126 ,  G06F40/30 ,  G06T7/00 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明实施例中提供了一种基于跨模态融合的医学报告生成模型的训练方法，属于数据处理技术领域，具体包括：得到第一图像特征；关联细粒度异常区域，得到第二图像特征，以及，提取粗粒度疾病语义信息，得到第三图像特征；将第二图像特征和第三图像特征输入交叉注意力模块建模多尺度关联，得到第四图像特征；将第四图像特征和t‑1轮的第一文本特征输入文本生成模块，得到模态不变性特征；根据模态不变性特征得到第t轮医学文本预测结果，直到完成文本序列每一轮的预测，并结合源图像对应的文本标签计算文本生成损失；根据文本生成损失迭代训练得到训练好的医学报告生成模型。通过本发明的方案，实现跨模态识别，且提高了模型识别精度和鲁棒性。