公开(公告)号：CN114240748A

公开(公告)日：2022-03-25

申请号：CN202111475883.8

申请日：2021-12-06

Applicant: 中央广播电视总台 ,  上海交通大学

Inventor： 姜文波 ,  赵贵华 ,  张小云 ,  郭柏松 ,  张娅 ,  蔺飞 ,  辛威 ,  王延峰

IPC: G06T3/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于局部自回归模型和离散词典的超分辨率方法，包括：获取高清图片和低清图片的数据对，基于粗超分模型和高频离散可学习字典，对所述数据对进行处理，获得能够获取离散编码的局部自回归模型；待恢复的低清图片，经过所述粗超分模型和局部自回归模型，获得超分辨率图片。本发明通过粗超分模块实现初步超分，从而实现低频恢复，同时针对于高频进行离散编码，并通过局部自回归方法生成，实现对于低清图片的增强。

公开(公告)号：CN113628109A

公开(公告)日：2021-11-09

申请号：CN202110804781.X

申请日：2021-07-16

Applicant: 上海交通大学

Inventor： 姜文波 ,  赵贵华 ,  张小云 ,  郭柏松 ,  张娅 ,  蔺飞 ,  袁旭稚 ,  王延峰

IPC: G06T3/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于可学习字典的人脸五官超分辨率方法和系统、介质，所述方法包括：根据高清五官图片所对应的低清五官图片构建可学习的字典，字典词条对应高清五官图片中的低频部分；根据高清五官图片和其对应的低清五官图片字典编码构建可学习的字典，字典词条对应高清五官图片中的高频部分；根据低清五官图片对应的低频字典编码自回归出其对应的高频字典编码；使用输入低清五官图片的低频字典编码和据此回归出的高频字典编码生成其对应的高清五官图片。所述系统包括与所述各步骤相对应的模块。本发明能够利用公开人脸数据集进行现实低清人脸图片的五官定向增强，达到良好的超分辨效果。

公开(公告)号：CN113628107A

公开(公告)日：2021-11-09

申请号：CN202110749972.0

申请日：2021-07-02

Applicant: 上海交通大学

Inventor： 张娅 ,  姜文波 ,  赵贵华 ,  张小云 ,  董洋轶 ,  张毅军 ,  王延峰 ,  蔺飞 ,  袁旭稚

IPC: G06T3/40 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种人脸超分辨率方法及系统，包括：对输入的人脸属性标签信息，使用全连接网络与激活层进行特征优化，获得属性语义特征；对输入的低分辨率图像信息，使用卷积神经网络提取视觉特征；对属性语义特征与视觉特征使用特征融合网络进行特征融合，并在训练时与教师特征通过属性法向量约束，从而保持融合特征与教师特征属性一致；使用图像恢复网络将融合特征映射为输出图像，由于图像恢复网络经过预训练，它生成的图像具有逼真的细节。通过本发明，生成的人脸高清图像具有属性保持与细节。

公开(公告)号：CN113628109B

公开(公告)日：2023-11-28

申请号：CN202110804781.X

申请日：2021-07-16

Applicant: 上海交通大学

Inventor： 姜文波 ,  赵贵华 ,  张小云 ,  郭柏松 ,  张娅 ,  蔺飞 ,  袁旭稚 ,  王延峰

IPC: G06T3/40 ,  G06V10/772 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于可学习字典的人脸五官超分辨率方法和系统、介质，所述方法包括：根据高清五官图片所对应的低清五官图片构建可学习的字典，字典词条对应高清五官图片中的低频部分；根据高清五官图片和其对应的低清五官图片字典编码构建可学习的字典，字典词条对应高清五官图片中的高频部分；根据低清五官图片对应的低频字典编码自回归出其对应的高频字典编码；使用输入低清五官图片的低频字典编码和据此回归出的高频字典编码生成其对应的高清五官图片。所述系统包括与所述各步骤相对应的模块。本发明能够利用公开人脸数据集进行现实低清人脸图片的五官定向增强，达到良好的超分辨效果。

公开(公告)号：CN114219728A

公开(公告)日：2022-03-22

申请号：CN202111496917.1

申请日：2021-12-09

Applicant: 上海交通大学 ,  中央广播电视总台

Inventor： 张娅 ,  姜文波 ,  赵贵华 ,  张小云 ,  董洋轶 ,  张毅军 ,  王延峰 ,  蔺飞 ,  袁旭稚

IPC: G06T5/00 ,  G06T5/50 ,  G06V10/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种人脸图像修复方法，包括：对输入的高质量人脸图像利用高质量特征提取网络获取其在特征空间中的高质量表达；对输入的低质量人脸图像利用低质量特征提取网络获取其在特征空间中的低质量表达；使用跨质量转移估计网络估计特征空间中的高质量表达与低质量表达之间的转移向量，并使用所述转移向量编辑表达；使用预训练的图像恢复网络将编辑后的表达映射输出图像；在整个网络的联合损失约束下进行训练；使用训练好的网络进行人类图像修复。本发明无需成对的训练图像对，能够适用于真实图像中的未知退化，改善了现有技术需要成对的训练图像对，不贴合实际使用场景的问题。

公开(公告)号：CN113628107B

公开(公告)日：2023-10-27

申请号：CN202110749972.0

申请日：2021-07-02

Applicant: 上海交通大学

Inventor： 张娅 ,  姜文波 ,  赵贵华 ,  张小云 ,  董洋轶 ,  张毅军 ,  王延峰 ,  蔺飞 ,  袁旭稚

IPC: G06T3/40 ,  G06V40/16 ,  G06V20/70 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种人脸超分辨率方法及系统，包括：对输入的人脸属性标签信息，使用全连接网络与激活层进行特征优化，获得属性语义特征；对输入的低分辨率图像信息，使用卷积神经网络提取视觉特征；对属性语义特征与视觉特征使用特征融合网络进行特征融合，并在训练时与教师特征通过属性法向量约束，从而保持融合特征与教师特征属性一致；使用图像恢复网络将融合特征映射为输出图像，由于图像恢复网络经过预训练，它生成的图像具有逼真的细节。通过本发明，生成的人脸高清图像具有属性保持与细节。