公开(公告)号：CN119205800A

公开(公告)日：2024-12-27

申请号：CN202411213970.X

申请日：2024-08-31

Applicant: 杭州电子科技大学

Inventor： 顾人舒 ,  沈雨辰 ,  徐岗 ,  吴向阳 ,  许佳敏

IPC: G06T7/10 ,  G06T5/50 ,  G06V10/80 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种融合多模态图文信息的医学图像分割方法，该方法首先使用预训练的BERT模型对患者元数据文本进行预处理和编码，提取特征表示，其次对病理图像进行注意力引导的数据增强操作。最后构建由图像编码器、文本编码器和解码器组成的医学图像分割网络，基于步骤一提取的特征表示和数据增强后的病理图像进行病理图像分割，并可视化分割结果。在分割网络中，本发明设计了一个多模态特征融合模块将两种模态的信息进行融合，该模块采用了Transformer架构，引入跨模态注意力机制和自注意力机制，保证了信息融合的有效性。本发明得到了更精准的分割结果，提升在新数据上的泛化能力，有效处理了医学图像中常见的数据不平衡问题。