公开(公告)号：CN117649365B

公开(公告)日：2024-08-09

申请号：CN202311537090.3

申请日：2023-11-16

Applicant: 西南交通大学

Inventor： 龚勋 ,  彭会雯 ,  梁聪鑫

IPC: G06T5/77 ,  G06T11/60 ,  G06T11/40 ,  G06N3/0464

Abstract: 本发明涉及计算机视觉及图像修复技术领域，提供一种基于卷积神经网络和扩散模型的纸本经图数字化修复方法，包括：1、图像预处理；2、训练和微调基于CNN的边缘检测模型DexiNed，获得草图；3、加入交互信息，用户可在草图的基础上增加或者删除线条；4、训练基于DM的风格迁移模型InST；5、调整参数优化模型，获得线稿图；6、构建数据集；7、训练Stable Diffusion：使用LoRa技术进行微调，获得具有经图画风的模型；8、利用ControlNet进行推理：加入线稿条件，在经图风格的模型上输入文字实现着色功能。本发明能较佳地进行纸本经图数字化修复。

公开(公告)号：CN117649365A

公开(公告)日：2024-03-05

申请号：CN202311537090.3

申请日：2023-11-16

Applicant: 西南交通大学

Inventor： 龚勋 ,  彭会雯 ,  梁聪鑫

IPC: G06T5/77 ,  G06T11/60 ,  G06T11/40 ,  G06N3/0464

Abstract: 本发明涉及计算机视觉及图像修复技术领域，提供一种基于卷积神经网络和扩散模型的纸本经图数字化修复方法，包括：1、图像预处理；2、训练和微调基于CNN的边缘检测模型DexiNed，获得草图；3、加入交互信息，用户可在草图的基础上增加或者删除线条；4、训练基于DM的风格迁移模型InST；5、调整参数优化模型，获得线稿图；6、构建数据集；7、训练Stable Diffusion：使用LoRa技术进行微调，获得具有经图画风的模型；8、利用ControlNet进行推理：加入线稿条件，在经图风格的模型上输入文字实现着色功能。本发明能较佳地进行纸本经图数字化修复。