-
公开(公告)号:CN118918009B
公开(公告)日:2025-02-25
申请号:CN202411413946.0
申请日:2024-10-11
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06T5/60 , G06T5/70 , G06V10/764 , G06V10/80
Abstract: 本发明公开了一种基于稳定扩散的真实世界图像超分辨率方法,涉及图像超分辨率技术领域,具体通过构建并训练增强先验引导扩散模型实现;所述增强先验引导扩散模型实现真实世界图像超分辨率的过程为:预处理模块根据低分辨率图像生成预处理图像,分割模块根据预处理图像生成对应的分割掩码图像,注意力融合模块根据预处理图像和分割掩码图像的潜在特征生成融合潜在特征;语义提示提取器从预处理图像提取高质量语义提示词输入去噪主干网络;控制网络基于融合潜在特征对去噪主干网络进行特征调制;去噪主干网络输出高分辨率图像。本发明在真实世界图像超分辨率任务上更注重图像高频细节和结构层次,保证了复原图像的真实性与一致性。
-
公开(公告)号:CN119006292B
公开(公告)日:2025-02-14
申请号:CN202411484614.1
申请日:2024-10-23
Applicant: 华侨大学
IPC: G06T3/4076 , G06N3/0455 , G06N3/0464 , G06T3/4046 , G06T5/60 , G06T5/77
Abstract: 本发明公开了一种基于稳定扩散模型的快速人脸图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于稳定扩散模型的人脸图像超分辨率模型,包括稳定扩散模型、引导提取模块和引导注入模块,引导提取模块根据输入的人脸低分辨率图像生成视觉引导和文本引导,引导注入模块将视觉引导和文本引导注入到稳定扩散模型,稳定扩散模型基于视觉引导和文本引导生成复原图像作为人脸高分辨率图像;对人脸图像超分辨率模型进行训练;利用训练好的人脸图像超分辨率模型实现快速人脸图像超分辨率。本发明结合视觉引导和文本引导来微调稳定扩散模型,不仅可以大幅提升人脸图像的真实性并保持相当的一致性,并且加快了复原速度。
-
公开(公告)号:CN118918009A
公开(公告)日:2024-11-08
申请号:CN202411413946.0
申请日:2024-10-11
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06T5/60 , G06T5/70 , G06V10/764 , G06V10/80
Abstract: 本发明公开了一种基于稳定扩散的真实世界图像超分辨率方法,涉及图像超分辨率技术领域,具体通过构建并训练增强先验引导扩散模型实现;所述增强先验引导扩散模型实现真实世界图像超分辨率的过程为:预处理模块根据低分辨率图像生成预处理图像,分割模块根据预处理图像生成对应的分割掩码图像,注意力融合模块根据预处理图像和分割掩码图像的潜在特征生成融合潜在特征;语义提示提取器从预处理图像提取高质量语义提示词输入去噪主干网络;控制网络基于融合潜在特征对去噪主干网络进行特征调制;去噪主干网络输出高分辨率图像。本发明在真实世界图像超分辨率任务上更注重图像高频细节和结构层次,保证了复原图像的真实性与一致性。
-
公开(公告)号:CN118247180B
公开(公告)日:2024-09-24
申请号:CN202410661695.1
申请日:2024-05-27
Applicant: 华侨大学
Abstract: 本发明设计图像修复技术领域,公开了一种基于流形约束扩散模型的人脸图像复原方法及系统,方法包括以下步骤:S1,制作数据集并利用数据集预训练一个基础扩散模型;S2,构建受流形约束启发的额外校正项并添加到基础扩散模型,构建语义扩散引导统一框架并添加到基础扩散模型,获得人脸图像复原模型;S3,输入待复原人脸图像和引导信息到人脸图像复原模型,生成复原人脸图像。本发明基于扩散概率模型(DDPM)反向生成过程设计了一个受流形约束(Manifold Constrained)启发的额外校正项并引入语义扩散引导(Semantic Diffusion Guidance)框架控制生成过程,与之前的求解器协同使用,综合考虑了复原图像的正确性、真实性、一致性问题。
-
公开(公告)号:CN118279178B
公开(公告)日:2024-09-13
申请号:CN202410675877.4
申请日:2024-05-29
Applicant: 华侨大学
Abstract: 本发明公开了一种基于扩散生成模型的快速人脸图像复原方法及系统,涉及图像复原领域,方法包括以下步骤:制作数据集与选择预训练模型,以获得预训练扩散生成模型;基于预训练扩散生成模型获得快速人脸图像复原模型;利用快速人脸图像复原模型实现对于失真人脸图像的快速复原;所述基于预训练扩散生成模型获得快速人脸图像复原模型,包括:在预训练扩散生成模型的前向加噪模块中添加普罗米修斯随机微分方程,以及在预训练扩散生成模型的反向去噪模块中添加条件引导投影。本发明不仅可以实现复原图像真实性与一致性的保障,而且能大幅度缩短图像复原所需要的时间。
-
公开(公告)号:CN118229531B
公开(公告)日:2024-09-17
申请号:CN202410609646.3
申请日:2024-05-16
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06T3/4046 , G06V10/44
Abstract: 本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于局部增强Transformer的图像超分辨率网络;输入低分辨率图像,图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像;其中,所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块;其中,浅层特征提取模块利用卷积层提取浅层特征,深层特征提取模块利用多个局部增强自注意力单元提取深层特征,每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成,图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征,从而使网络兼顾图像的全局与局部细节。
-
公开(公告)号:CN118247180A
公开(公告)日:2024-06-25
申请号:CN202410661695.1
申请日:2024-05-27
Applicant: 华侨大学
Abstract: 本发明设计图像修复技术领域,公开了一种基于流形约束扩散模型的人脸图像复原方法及系统,方法包括以下步骤:S1,制作数据集并利用数据集预训练一个基础扩散模型;S2,构建受流形约束启发的额外校正项并添加到基础扩散模型,构建语义扩散引导统一框架并添加到基础扩散模型,获得人脸图像复原模型;S3,输入待复原人脸图像和引导信息到人脸图像复原模型,生成复原人脸图像。本发明基于扩散概率模型(DDPM)反向生成过程设计了一个受流形约束(Manifold Constrained)启发的额外校正项并引入语义扩散引导(Semantic Diffusion Guidance)框架控制生成过程,与之前的求解器协同使用,综合考虑了复原图像的正确性、真实性、一致性问题。
-
公开(公告)号:CN118229531A
公开(公告)日:2024-06-21
申请号:CN202410609646.3
申请日:2024-05-16
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06T3/4046 , G06V10/44
Abstract: 本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于局部增强Transformer的图像超分辨率网络;输入低分辨率图像,图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像;其中,所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块;其中,浅层特征提取模块利用卷积层提取浅层特征,深层特征提取模块利用多个局部增强自注意力单元提取深层特征,每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成,图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征,从而使网络兼顾图像的全局与局部细节。
-
公开(公告)号:CN119006292A
公开(公告)日:2024-11-22
申请号:CN202411484614.1
申请日:2024-10-23
Applicant: 华侨大学
IPC: G06T3/4076 , G06N3/0455 , G06N3/0464 , G06T3/4046 , G06T5/60 , G06T5/77
Abstract: 本发明公开了一种基于稳定扩散模型的快速人脸图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于稳定扩散模型的人脸图像超分辨率模型,包括稳定扩散模型、引导提取模块和引导注入模块,引导提取模块根据输入的人脸低分辨率图像生成视觉引导和文本引导,引导注入模块将视觉引导和文本引导注入到稳定扩散模型,稳定扩散模型基于视觉引导和文本引导生成复原图像作为人脸高分辨率图像;对人脸图像超分辨率模型进行训练;利用训练好的人脸图像超分辨率模型实现快速人脸图像超分辨率。本发明结合视觉引导和文本引导来微调稳定扩散模型,不仅可以大幅提升人脸图像的真实性并保持相当的一致性,并且加快了复原速度。
-
公开(公告)号:CN118314027A
公开(公告)日:2024-07-09
申请号:CN202410426734.X
申请日:2024-04-10
Applicant: 华侨大学
IPC: G06T5/00 , G06T5/70 , G06V10/774
Abstract: 本发明属于计算机视觉技术领域,具体涉及一种基于扩散后验采样的图像复原方法,包括制作数据集以及确定退化算子;构建基于VIT的扩散模型,采用影响因子机制改良扩散模型中的跳跃连接方式,采用数据集进行训练和测试得到噪声预测模型;利用训练好的噪声预测模型对图像进行预测输出扩散模型反向过程中所需的高斯噪声图;采用基于确定的退化算子并采用近似对数似然的后验采样机制在反向过程对的高斯噪声图进行不断的迭代去噪实现图像复原。本发明能够更好的注重图像的纹理细节,从而保证复原后图像的真实性与一致性,通过采用PSM和引入影响因子机制,DVIT网络能够保持高度真实性的条件下,以保证一致性,并且可以有效的加速采样速度。
-
-
-
-
-
-
-
-
-