公开(公告)号：CN117391993A

公开(公告)日：2024-01-12

申请号：CN202311328769.1

申请日：2023-10-14

Applicant: 哈尔滨理工大学

Inventor： 杨智博 ,  王小玉 ,  俞越

IPC: G06T5/70 ,  G06T5/50 ,  G06T3/04 ,  G06T7/90 ,  G06T11/00 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094 ,  G06N3/0464

Abstract: 本发明公开了一种基于扩散模型和生成对抗网络的图像自动上色方法，包括：对现有数据集进行数据增强，以增加训练数据集的多样性，同时对数据集图像进行裁剪，使得数据集中图像的尺寸保持一致，并复制彩色图像，去掉副本图像中的颜色信息，得到成对的灰度‑彩色图像数据集；引入了预训练去噪扩散概率模型（DDPM）作为生成网络，解决传统生成对抗网络生成器预测色彩信息能力较弱，执行图像上色任务时，生成图像的颜色丰富度不足而引起的整体视觉效果不佳的问题；生成网络输入原始灰度图像，输出色彩鲜艳丰富的彩色图像，得到的生成图像与原始彩色图像一起送入判别网络来判别真伪，利用损失函数对生成网络G和判别网络D进行训练，直至判别器无法分辨生成图像的真伪时，训练结束。本发明能够在生成对抗网络中引入扩散模型的同时，进一步提升颜色预测能力，使网络能在图像上色任务中有更好的表现，得到的图像色彩更加丰富且与图像的内容结构以及细节纹理更加相配，整体视觉效果更好。