公开(公告)号：CN119722838A

公开(公告)日：2025-03-28

申请号：CN202411751471.6

申请日：2024-12-02

Applicant: 复旦大学

Inventor： 郭翌 ,  黄鹏 ,  郭博文 ,  汪源源

IPC: G06T11/00 ,  G06V10/762 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/09

Abstract: 一种基于扩散模型的文本生成胸部X射线影像系统及方法，包括：隐空间噪声过滤模块、自适应视觉感知文本学习模块和针对扩散模型的医学知识注入模块，其中：隐空间噪声过滤模块根据原始CXR图像，通过预训练的图像编码单元进行隐空间映射、流形建模和噪声判别处理得到去噪后CXR图像后，由CXR图像与文本的对应关系得到对应的文本；自适应视觉感知文本学习模块使用过滤噪声后的CXR图像和文本训练大型视觉语言模型；针对扩散模型的医学知识注入模块根据训练后的大型视觉语言模型生成的的模板化文本编码信息，通过可训练的控制适配器逐步注入训练状态的扩散模型中，稳健地提升扩散模型在训练过程中对文本信息的感知强度，以提升模型的CXR图像生成质量。本发明通过结合隐空间噪声过滤、自适应视觉感知文本学习以及医学知识注入模块共三阶段的创新方法，赋予模型充分理解文字与CXR图像并生成指定类型的高质量CXR图像的能力。