公开(公告)号：CN117611576A

公开(公告)日：2024-02-27

申请号：CN202311769202.8

申请日：2023-12-21

Applicant: 南京工业大学

Inventor： 张梦怡 ,  李新宁 ,  朱文俊 ,  易阳 ,  王村松 ,  薄翠梅 ,  彭浩

IPC: G06T7/00 ,  G06V10/44 ,  G06V10/764 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明涉及图像处理技术领域，公开了一种基于图文融合对比学习预测方法，包括以下步骤：为工业零件图像数据配对相关类别标签的文本嵌入，并进行预处理；构建图文融合对比学习模型，并通过引入基于图像实例的属性权重机制来区分缺陷种类，采用按通道条件提示模块进行特征拆分和信息提取，同时利用训练集对模型进行训练；调整模型参数进行多次训练，并进行测试及性能评估；利用图文融合对比学习模型进行预测得到工业零件的缺陷信息。本发明具有较好的预测性能，能够以较小的误差来预测出工业零件是否有缺陷，能够生成更加解释性强的注意力图，可以更准确地对零件进行分类和缺陷预测。

公开(公告)号：CN118864362A

公开(公告)日：2024-10-29

申请号：CN202410847584.X

申请日：2024-06-27

Applicant: 南京工业大学

Inventor： 张梦怡 ,  李新宁 ,  孙立璟 ,  朱文俊 ,  易阳 ,  穆宜敏

IPC: G06T7/00 ,  G06T7/11 ,  G06V10/774 ,  G06V10/764 ,  G06V10/22 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种基于多模态对比学习的医学图像预测方法，涉及图像处理技术领域，该基于多模态对比学习的医学图像预测方法包括以下步骤：获取肺结节图像数据集并为图像数据集配对文本嵌入数据；基于预处理后的肺结节图像数据集和文本嵌入数据构建多模态对比学习模型，并对多模态对比学习模型进行初次训练；调整初次训练后的多模态对比学习模型参数并进行二次训练，对训练完成后的多模态对比学习模型依次进行性能测试和性能评估；利用性能评估达标后的多模态对比学习模型对肺结节图像数据集进行预测，得到肺结节良恶性预测结果。本发明实现了图像和文本在潜在语义空间中的精确对齐，有效地提高了分类模型识别真阳性结节的能力。