基于稳定扩散模型的快速人脸图像超分辨率方法及系统

    公开(公告)号:CN119006292A

    公开(公告)日:2024-11-22

    申请号:CN202411484614.1

    申请日:2024-10-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于稳定扩散模型的快速人脸图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于稳定扩散模型的人脸图像超分辨率模型,包括稳定扩散模型、引导提取模块和引导注入模块,引导提取模块根据输入的人脸低分辨率图像生成视觉引导和文本引导,引导注入模块将视觉引导和文本引导注入到稳定扩散模型,稳定扩散模型基于视觉引导和文本引导生成复原图像作为人脸高分辨率图像;对人脸图像超分辨率模型进行训练;利用训练好的人脸图像超分辨率模型实现快速人脸图像超分辨率。本发明结合视觉引导和文本引导来微调稳定扩散模型,不仅可以大幅提升人脸图像的真实性并保持相当的一致性,并且加快了复原速度。

    一种基于扩散后验采样的图像复原方法

    公开(公告)号:CN118314027A

    公开(公告)日:2024-07-09

    申请号:CN202410426734.X

    申请日:2024-04-10

    Applicant: 华侨大学

    Abstract: 本发明属于计算机视觉技术领域,具体涉及一种基于扩散后验采样的图像复原方法,包括制作数据集以及确定退化算子;构建基于VIT的扩散模型,采用影响因子机制改良扩散模型中的跳跃连接方式,采用数据集进行训练和测试得到噪声预测模型;利用训练好的噪声预测模型对图像进行预测输出扩散模型反向过程中所需的高斯噪声图;采用基于确定的退化算子并采用近似对数似然的后验采样机制在反向过程对的高斯噪声图进行不断的迭代去噪实现图像复原。本发明能够更好的注重图像的纹理细节,从而保证复原后图像的真实性与一致性,通过采用PSM和引入影响因子机制,DVIT网络能够保持高度真实性的条件下,以保证一致性,并且可以有效的加速采样速度。

    一种基于扩散生成模型的快速人脸图像复原方法及系统

    公开(公告)号:CN118279178A

    公开(公告)日:2024-07-02

    申请号:CN202410675877.4

    申请日:2024-05-29

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于扩散生成模型的快速人脸图像复原方法及系统,涉及图像复原领域,方法包括以下步骤:制作数据集与选择预训练模型,以获得预训练扩散生成模型;基于预训练扩散生成模型获得快速人脸图像复原模型;利用快速人脸图像复原模型实现对于失真人脸图像的快速复原;所述基于预训练扩散生成模型获得快速人脸图像复原模型,包括:在预训练扩散生成模型的前向加噪模块中添加普罗米修斯随机微分方程,以及在预训练扩散生成模型的反向去噪模块中添加条件引导投影。本发明不仅可以实现复原图像真实性与一致性的保障,而且能大幅度缩短图像复原所需要的时间。

    一种基于复合Transformer的图像超分辨率方法及系统

    公开(公告)号:CN118229532A

    公开(公告)日:2024-06-21

    申请号:CN202410626959.X

    申请日:2024-05-21

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于复合Transformer的图像超分辨率方法及系统,涉及图像超分辨率领域,方法包括以下步骤:构建基于复合Transformer的图像超分辨率网络;利用基于复合Transformer的图像超分辨率网络实现对于低分辨率图像的超分辨率重建,输出对应的高分辨率图像;所述基于复合Transformer的图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块,其中,深层特征提取模块包括若干依次连接的残差组,每个残差组包括残差复合Transformer和整合Transformer,残差复合Transformer包括空间多头注意力和通道组注意力层,整合Transformer包括整合自注意力和卷积前馈网络。本发明通过残差复合Transformer在空间和通道维度上聚合特征;通过整合Transformer减少通道数量而不会丢失空间信息,重建高质量的高分辨率图像。

    一种基于Transformer与卷积交互的轻量级图像超分辨率方法

    公开(公告)号:CN116596764B

    公开(公告)日:2023-10-31

    申请号:CN202310871402.8

    申请日:2023-07-17

    Applicant: 华侨大学

    Abstract: 本发明涉及图像处理技术领域,公开了一种基于Transformer与卷积交互的轻量级图像超分辨率方法,包括以下步骤:S1,构建跨通道Transformer模块与高效局部特征提取模块;S2,构建反转U型网络模块;S3,构建全局特征提炼模块;S4,将反转U型网络模块与全局特征提炼模块组合起来,构建基于Transformer与卷积交互的轻量级超分辨率网络;网络输入低分辨率图像,输出高分辨率的重建图像。本发明使用较少参数与计算量,同时拥有更优的重建效果;通过Transformer与卷积的交互,兼顾图像的全局与局部细节;反转U型网络模块先在编码器阶段将关键信息转移至特征图维度上,再在解码器阶段将关键信息返回至通道维度中,以实现低资源耗费来融合多阶段信息的目的。

    一种基于Transformer与卷积交互的轻量级图像超分辨率方法

    公开(公告)号:CN116596764A

    公开(公告)日:2023-08-15

    申请号:CN202310871402.8

    申请日:2023-07-17

    Applicant: 华侨大学

    Abstract: 本发明涉及图像处理技术领域,公开了一种基于Transformer与卷积交互的轻量级图像超分辨率方法,包括以下步骤:S1,构建跨通道Transformer模块与高效局部特征提取模块;S2,构建反转U型网络模块;S3,构建全局特征提炼模块;S4,将反转U型网络模块与全局特征提炼模块组合起来,构建基于Transformer与卷积交互的轻量级超分辨率网络;网络输入低分辨率图像,输出高分辨率的重建图像。本发明使用较少参数与计算量,同时拥有更优的重建效果;通过Transformer与卷积的交互,兼顾图像的全局与局部细节;反转U型网络模块先在编码器阶段将关键信息转移至特征图维度上,再在解码器阶段将关键信息返回至通道维度中,以实现低资源耗费来融合多阶段信息的目的。

    一种基于局部增强Transformer的图像超分辨率方法及系统

    公开(公告)号:CN118229531B

    公开(公告)日:2024-09-17

    申请号:CN202410609646.3

    申请日:2024-05-16

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于局部增强Transformer的图像超分辨率网络;输入低分辨率图像,图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像;其中,所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块;其中,浅层特征提取模块利用卷积层提取浅层特征,深层特征提取模块利用多个局部增强自注意力单元提取深层特征,每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成,图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征,从而使网络兼顾图像的全局与局部细节。

    一种基于流形约束扩散模型的人脸图像复原方法及系统

    公开(公告)号:CN118247180A

    公开(公告)日:2024-06-25

    申请号:CN202410661695.1

    申请日:2024-05-27

    Applicant: 华侨大学

    Abstract: 本发明设计图像修复技术领域,公开了一种基于流形约束扩散模型的人脸图像复原方法及系统,方法包括以下步骤:S1,制作数据集并利用数据集预训练一个基础扩散模型;S2,构建受流形约束启发的额外校正项并添加到基础扩散模型,构建语义扩散引导统一框架并添加到基础扩散模型,获得人脸图像复原模型;S3,输入待复原人脸图像和引导信息到人脸图像复原模型,生成复原人脸图像。本发明基于扩散概率模型(DDPM)反向生成过程设计了一个受流形约束(Manifold Constrained)启发的额外校正项并引入语义扩散引导(Semantic Diffusion Guidance)框架控制生成过程,与之前的求解器协同使用,综合考虑了复原图像的正确性、真实性、一致性问题。

    一种基于局部增强Transformer的图像超分辨率方法及系统

    公开(公告)号:CN118229531A

    公开(公告)日:2024-06-21

    申请号:CN202410609646.3

    申请日:2024-05-16

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于局部增强Transformer的图像超分辨率网络;输入低分辨率图像,图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像;其中,所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块;其中,浅层特征提取模块利用卷积层提取浅层特征,深层特征提取模块利用多个局部增强自注意力单元提取深层特征,每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成,图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征,从而使网络兼顾图像的全局与局部细节。

    基于扩散生成先验的人脸图像复原方法、装置及可读介质

    公开(公告)号:CN117495714B

    公开(公告)日:2024-04-12

    申请号:CN202410004081.6

    申请日:2024-01-03

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于扩散生成先验的人脸图像复原方法、装置及可读介质,涉及图像处理模块,包括:构建基于预训练的扩散模型的人脸图像复原模型,将待复原的人脸图像输入前向加噪模块中逐步增加噪声,得到噪声图像;将噪声图像输入反向去噪模块中逐步去噪,生成最终复原的人脸图像;将第t步的噪声图像及第t步的时间戳输入噪声预测器,预测得到第t步的噪声;在前向加噪模块中,将第t步的噪声图像和第t步的噪声输入结合融合反演的前向扩散公式,得到第t+1步的噪声图像;在反向去噪模块中,对第t步的噪声图像进行零阈值分解,并与第t步的噪声输入反向扩散公式,得到第t‑1步的噪声图像,解决了现有技术生成的复原图像在真实性和一致性差问题。

Patent Agency Ranking