-
公开(公告)号:CN118865373A
公开(公告)日:2024-10-29
申请号:CN202410815254.2
申请日:2024-06-24
Applicant: 华南理工大学
IPC: G06V20/69 , G06V10/44 , G06V10/774 , G06V10/82 , G06F40/30 , G06N3/0455 , G06T7/00
Abstract: 本发明公开了一种基于多模态增强的骨髓细胞识别系统,包括:细胞图像分割模块,为一种用于对骨髓细胞显微镜图像数据进行分割的改进SAM模型;该模块结合了SAM模型和Adapter块;标签文本改造模块,用于将传统的标签文本转换为粗、细粒度文本特征表示;多模态对齐模块,采用一种改进PMC‑CLIP模型实现对标签文本改造模块输出的粗、细粒度文本特征进行图像‑文本对齐。本发明通过粗粒度+细粒度的文本信息提示,可有效提高细胞个数少的种类以及复杂细胞图像的识别准确率,解决细胞种类不平衡和复杂图像难区分的问题,提高模型的识别准确率。