基于多模态融合的医学影像报告生成方法及装置

    公开(公告)号:CN115331769A

    公开(公告)日:2022-11-11

    申请号:CN202210836966.3

    申请日:2022-07-15

    Abstract: 本发明提供一种基于多模态融合的医学影像报告生成方法及装置,所述方法包括:构建医学先验知识图谱,并获取所述医学先验知识图谱中每个节点的初始特征向量;将所述医学先验知识图谱和所述医学先验知识图谱中每个节点的初始特征向量输入到图编码器中,得到图嵌入向量;将医学影像输入到不包括线性层的图像编码器中,得到视觉特征序列;采取协同注意力机制,对所述图嵌入向量和所述视觉特征序列进行多模态融合,得到经过注意力重新赋权的图像序列;将所述经过注意力重新赋权的图像序列输入到记忆驱动Transformer模型中,生成医学影像报告。本发明可以提高医学影像报告生成的准确性和可靠性。

    基于多模态融合的医学影像报告生成方法及装置

    公开(公告)号:CN115331769B

    公开(公告)日:2023-05-09

    申请号:CN202210836966.3

    申请日:2022-07-15

    Abstract: 本发明提供一种基于多模态融合的医学影像报告生成方法及装置,所述方法包括:构建医学先验知识图谱,并获取所述医学先验知识图谱中每个节点的初始特征向量;将所述医学先验知识图谱和所述医学先验知识图谱中每个节点的初始特征向量输入到图编码器中,得到图嵌入向量;将医学影像输入到不包括线性层的图像编码器中,得到视觉特征序列;采取协同注意力机制,对所述图嵌入向量和所述视觉特征序列进行多模态融合,得到经过注意力重新赋权的图像序列;将所述经过注意力重新赋权的图像序列输入到记忆驱动Transformer模型中,生成医学影像报告。本发明可以提高医学影像报告生成的准确性和可靠性。

Patent Agency Ranking