-
公开(公告)号:CN117975021A
公开(公告)日:2024-05-03
申请号:CN202410298770.2
申请日:2024-03-15
Applicant: 南京大学
IPC: G06V10/26 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06V10/764 , G06V10/74
Abstract: 本发明公开一种基于大模型的医疗图像全自动语义分割方法,基于MedSAM的结构以及预训练权重,使用LoRA模块对模型的编码器权重进行高效更新,将预训练权重中包含的大量医疗图像领域知识迁移到具体的医疗图像分割任务中。对解码器模块进行针对性的全自动分割设计,仅包含图像特征序列与掩膜令牌的双向注意力运算,并通过对输出模块进行相应预测头数量的设置,保证预测结果包含明确的类别语义信息。已有大模型需要人工输入提示,因此只能实现半自动语义分割。本发明设计了能实现全自动语义分割的大模型,不需要人工输入提示信息。可以有效提升医疗图像语义分割的准确率,不受疾病和病灶种类的限制,具有很好的普适性和通用性。