特征强化的跨窗口轻量级超分辨率方法、系统及电子设备

    公开(公告)号:CN119180753A

    公开(公告)日:2024-12-24

    申请号:CN202411681831.X

    申请日:2024-11-22

    Applicant: 华侨大学

    Abstract: 本发明涉及图像超分辨率技术领域,公开了一种特征强化的跨窗口轻量级超分辨率方法、系统及电子设备,方法包括以下步骤:构建基于Token字典交叉的自注意力机制,并引入Token分组机制,组成基于Token分组的字典交叉自注意力模块,即TDAB模块;基于TDAB模块构建特征强化的跨窗口轻量级超分辨率网络;使用所述特征强化的跨窗口轻量级超分辨率网络对待重建的低分辨率图像进行重建,得到重建结果。本方法在经典超分辨率方法的基础上引入基于Token字典交叉的自注意力机制、基于Token分组的混合注意力模块,在使模型更轻量化的同时增强了模型对于跨越窗口依赖的捕获能力以及对于纹理细节特征的重建效果。

    一种基于局部增强Transformer的图像超分辨率方法及系统

    公开(公告)号:CN118229531B

    公开(公告)日:2024-09-17

    申请号:CN202410609646.3

    申请日:2024-05-16

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于局部增强Transformer的图像超分辨率网络;输入低分辨率图像,图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像;其中,所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块;其中,浅层特征提取模块利用卷积层提取浅层特征,深层特征提取模块利用多个局部增强自注意力单元提取深层特征,每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成,图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征,从而使网络兼顾图像的全局与局部细节。

    一种基于流形约束扩散模型的人脸图像复原方法及系统

    公开(公告)号:CN118247180A

    公开(公告)日:2024-06-25

    申请号:CN202410661695.1

    申请日:2024-05-27

    Applicant: 华侨大学

    Abstract: 本发明设计图像修复技术领域,公开了一种基于流形约束扩散模型的人脸图像复原方法及系统,方法包括以下步骤:S1,制作数据集并利用数据集预训练一个基础扩散模型;S2,构建受流形约束启发的额外校正项并添加到基础扩散模型,构建语义扩散引导统一框架并添加到基础扩散模型,获得人脸图像复原模型;S3,输入待复原人脸图像和引导信息到人脸图像复原模型,生成复原人脸图像。本发明基于扩散概率模型(DDPM)反向生成过程设计了一个受流形约束(Manifold Constrained)启发的额外校正项并引入语义扩散引导(Semantic Diffusion Guidance)框架控制生成过程,与之前的求解器协同使用,综合考虑了复原图像的正确性、真实性、一致性问题。

    一种基于局部增强Transformer的图像超分辨率方法及系统

    公开(公告)号:CN118229531A

    公开(公告)日:2024-06-21

    申请号:CN202410609646.3

    申请日:2024-05-16

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于局部增强Transformer的图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于局部增强Transformer的图像超分辨率网络;输入低分辨率图像,图像超分辨率网络根据低分辨率图像重建对应的高分辨率图像;其中,所述图像超分辨率网络包括依次连接的浅层特征提取模块、深层特征提取模块和图像重建模块;其中,浅层特征提取模块利用卷积层提取浅层特征,深层特征提取模块利用多个局部增强自注意力单元提取深层特征,每个局部增强自注意力单元包括多个Transformer层和一个3×3卷积组成,图像重建模块采用卷积实现重建。本发明利用局部增强Transformer来提取丰富的全局与局部特征,从而使网络兼顾图像的全局与局部细节。

    基于扩散生成先验的人脸图像复原方法、装置及可读介质

    公开(公告)号:CN117495714B

    公开(公告)日:2024-04-12

    申请号:CN202410004081.6

    申请日:2024-01-03

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于扩散生成先验的人脸图像复原方法、装置及可读介质,涉及图像处理模块,包括:构建基于预训练的扩散模型的人脸图像复原模型,将待复原的人脸图像输入前向加噪模块中逐步增加噪声,得到噪声图像;将噪声图像输入反向去噪模块中逐步去噪,生成最终复原的人脸图像;将第t步的噪声图像及第t步的时间戳输入噪声预测器,预测得到第t步的噪声;在前向加噪模块中,将第t步的噪声图像和第t步的噪声输入结合融合反演的前向扩散公式,得到第t+1步的噪声图像;在反向去噪模块中,对第t步的噪声图像进行零阈值分解,并与第t步的噪声输入反向扩散公式,得到第t‑1步的噪声图像,解决了现有技术生成的复原图像在真实性和一致性差问题。

    基于交叉注意力机制的图像超分辨率方法及装置

    公开(公告)号:CN117237197B

    公开(公告)日:2024-03-01

    申请号:CN202311475296.8

    申请日:2023-11-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法及装置,涉及图像重建领域,该方法包括:获取待重建的低分辨率图像及其对应的梯度图;构建基于交叉注意力机制与Swin‑Transformer的图像超分辨率模型并训练,得到经训练的图像超分辨率模型;将待重建的低分辨率图像输入经训练的图像超分辨率模型,经训练的图像超分辨率模型包括SR分支和梯度分支,SR分支和梯度分支中分别采用浅层特征提取模块提取低分辨率图像及其对应的梯度图的浅层特征,通过全局深层特征提取模块将浅层特征进行融合,得到深层特征,并输入图像重建模块,重建得到高分辨率图像,解决

    全尺度特征细化轻量级图像超分辨率方法及装置

    公开(公告)号:CN117196960A

    公开(公告)日:2023-12-08

    申请号:CN202311475299.1

    申请日:2023-11-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种全尺度特征细化轻量级图像超分辨率方法及装置,涉及图像处理领域,该方法包括:构建全尺度特征细化轻量级图像超分辨率模型并训练,得到经训练的全尺度特征细化轻量级图像超分辨率模型,将低分辨率图像输入经训练的全尺度特征细化轻量级图像超分辨率模型,先经过第一卷积层得到第一特征图,第一特征图经过串联的K个特征蒸馏提取模块,每一个特征蒸馏提取模块的输出均传送至第二卷积层,并经过第三卷积层,得到第二特征图,第二特征图与第一特征图相加,得到最终特征图,最终特征图输入上采样模块,重建得到高分辨率图像,解决原有超分辨率模型提取的特征信息过于单一的问题,通过蒸馏剔除冗余特征,使模型更加轻量化。

    基于自注意力的红外图像超分辨率方法、装置及可读介质

    公开(公告)号:CN117196959A

    公开(公告)日:2023-12-08

    申请号:CN202311475294.9

    申请日:2023-11-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于自注意力的红外图像超分辨率方法、装置及可读介质,涉及图像处理领域,包括:构建基于自注意力的轻量级红外图像超分辨率模型并训练,得到经训练的轻量级红外图像超分辨率模型;将待重建的低分辨率红外图像输入经训练的轻量级红外图像超分辨率模型,该模型包括3×3卷积层、轻量级Transformer与CNN骨干、高效细节自注意力模块和图像重建模块,待重建的低分辨率红外图像输入3×3卷积层,得到第一特征,再依次经过轻量级Transformer与CNN骨干和高效细节自注意力模块,且高效细节自注意力模块以共享参数的方式循环n次,得到第二特征,将第一特征和第二特征进行残差连接后输入图像重建模块,输出高分辨率红外图像,解决参数量冗余、性能差等问题。

Patent Agency Ranking