基于多模态特征融合的医学影像与文本联合分析模型

    公开(公告)号:CN119723266A

    公开(公告)日:2025-03-28

    申请号:CN202411785568.9

    申请日:2024-12-06

    Abstract: 本发明涉及人工智能技术领域,提供一种基于多模态特征融合的医学影像与文本联合分析模型,采用文本编码器将输入的医学文本数据进行编码,采用图像编码器将输入的医学影像数据进行编码,再通过矩阵乘法进行特征融合得到第一数据,采用多头注意力机制模块将第一数据输入至多头注意力层和前馈神经网络层处理。采用特征选择模块将第二数据与转置后的图像特征向量进行运算,采用分类器将第三数据通过全连接层,生成诊断结果的交叉熵损失函数的概率值。本发明还公开了一种构建方法快速建立模型,该模型的结构使其能够适应不同类型的医学影像和文本数据,能够整合医学图像和文本报告中的关键信息且融合深层次交互信息,提高整个诊断模型的准确性。

Patent Agency Ranking