公开(公告)号：CN119227831A

公开(公告)日：2024-12-31

申请号：CN202411111998.2

申请日：2024-08-14

Applicant: 复旦大学

Inventor： 李清秋 ,  冯瑞 ,  张玥杰 ,  张晓波 ,  沈全力

IPC: G06N20/00 ,  G06F40/205 ,  G06F40/30 ,  G06V10/25 ,  G06V10/774

Abstract: 本发明属于医学影像处理技术领域，具体为解剖学区域引导的医学视觉‑语言预训练系统。本发明系统包括：解剖学区域与报告分句对齐模块、内部表征学习强化模块、外部表征学习强化模块；对齐模块由目标检测器、文本解析器以及二者间的自动化对齐范式构成，通过对比学习赋予模型细粒度对齐能力；内部表征学习强化模块利用图像编码器和图像标签识别解码器，将图像特征与其对应标签相关联，并提供开放疾病类别检测的功能；外部表征学习强化模块利用软标签和硬标签的对比学习，提升不同图像‑报告对之间的关联性。本发明以解剖学区域为中心，同时强化图像‑报告对内部与外部的细粒度语义关联，可显著提升基于当前预训练系统的下游任务准确率。