基于多模态增强的骨髓细胞识别系统

    公开(公告)号:CN118865373A

    公开(公告)日:2024-10-29

    申请号:CN202410815254.2

    申请日:2024-06-24

    Abstract: 本发明公开了一种基于多模态增强的骨髓细胞识别系统,包括:细胞图像分割模块,为一种用于对骨髓细胞显微镜图像数据进行分割的改进SAM模型;该模块结合了SAM模型和Adapter块;标签文本改造模块,用于将传统的标签文本转换为粗、细粒度文本特征表示;多模态对齐模块,采用一种改进PMC‑CLIP模型实现对标签文本改造模块输出的粗、细粒度文本特征进行图像‑文本对齐。本发明通过粗粒度+细粒度的文本信息提示,可有效提高细胞个数少的种类以及复杂细胞图像的识别准确率,解决细胞种类不平衡和复杂图像难区分的问题,提高模型的识别准确率。

Patent Agency Ranking