公开(公告)号：CN118115740A

公开(公告)日：2024-05-31

申请号：CN202410318086.6

申请日：2024-03-20

Applicant: 浙江大学

Inventor： 王熙来 ,  林响烨 ,  章锦阳 ,  欧阳淑怡 ,  林兰芬

IPC: G06V10/26 ,  G06V10/44 ,  G06V10/52 ,  G06V10/86 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/00

Abstract: 本发明公开了一种基于多尺度深度学习的医学影像指代分割方法及装置，包括：获取病人的肿瘤CT图像与相应的文字描述；将文字描述嵌入为若干token，再输入基于Transformer的语言编码器中，形成高维的词向量，得到语言特征；根据肿瘤CT图像与语言特征，通过四个空间分辨率递减的阶段，运用MSFA进行视觉特征编码和多模态特征融合；对于每一个阶段输出的融合视觉特征，应用了双线性插值的上采样，将每一个阶段的多模态特征图输出缩放通道数至统一维度，然后将其拼接，得到最终特征图，再输入全尺度解码器进行解码，得到标志目标物体的像素级别的分割掩码。本发明可以在医疗诊断中，用于辅助肿瘤的识别，以此简化流程。