公开(公告)号：CN118196230A

公开(公告)日：2024-06-14

申请号：CN202410510838.9

申请日：2024-04-26

Applicant: 上海交通大学

Inventor： 张小云 ,  桂凌 ,  胡强 ,  王延峰

IPC: G06T11/00 ,  G06T11/40 ,  G06T7/90 ,  G06T5/70 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种图像上色方法及系统，其中方法包括：提供一图像上色模型，所述图像上色模型包括：预训练的文本编码器、实例掩码多层感知机、实例拼接多层感知机、预训练的视觉编码器、自注意力模型、视觉文本交叉注意力模型、条件图像引导网络模型、条件交叉注意力模型以及预训练的视觉解码器；提供一训练数据集，所述训练数据集包括：实例文本、实例掩码、彩色图像、整体文本以及黑白图像；利用所述训练数据对所述图像上色模型进行训练，得到训练后的图像上色模型；利用所述训练后的图像上色模型，进行图像上色。本发明使用输入的实例掩码和实例文本，允许使用者自定义图像中每个物体的颜色，改善了颜色绑定的问题。