-
公开(公告)号:CN119006292B
公开(公告)日:2025-02-14
申请号:CN202411484614.1
申请日:2024-10-23
Applicant: 华侨大学
IPC: G06T3/4076 , G06N3/0455 , G06N3/0464 , G06T3/4046 , G06T5/60 , G06T5/77
Abstract: 本发明公开了一种基于稳定扩散模型的快速人脸图像超分辨率方法及系统,涉及图像超分辨技术领域,方法包括以下步骤:构建基于稳定扩散模型的人脸图像超分辨率模型,包括稳定扩散模型、引导提取模块和引导注入模块,引导提取模块根据输入的人脸低分辨率图像生成视觉引导和文本引导,引导注入模块将视觉引导和文本引导注入到稳定扩散模型,稳定扩散模型基于视觉引导和文本引导生成复原图像作为人脸高分辨率图像;对人脸图像超分辨率模型进行训练;利用训练好的人脸图像超分辨率模型实现快速人脸图像超分辨率。本发明结合视觉引导和文本引导来微调稳定扩散模型,不仅可以大幅提升人脸图像的真实性并保持相当的一致性,并且加快了复原速度。
-
公开(公告)号:CN118247180B
公开(公告)日:2024-09-24
申请号:CN202410661695.1
申请日:2024-05-27
Applicant: 华侨大学
Abstract: 本发明设计图像修复技术领域,公开了一种基于流形约束扩散模型的人脸图像复原方法及系统,方法包括以下步骤:S1,制作数据集并利用数据集预训练一个基础扩散模型;S2,构建受流形约束启发的额外校正项并添加到基础扩散模型,构建语义扩散引导统一框架并添加到基础扩散模型,获得人脸图像复原模型;S3,输入待复原人脸图像和引导信息到人脸图像复原模型,生成复原人脸图像。本发明基于扩散概率模型(DDPM)反向生成过程设计了一个受流形约束(Manifold Constrained)启发的额外校正项并引入语义扩散引导(Semantic Diffusion Guidance)框架控制生成过程,与之前的求解器协同使用,综合考虑了复原图像的正确性、真实性、一致性问题。
-
公开(公告)号:CN118279178B
公开(公告)日:2024-09-13
申请号:CN202410675877.4
申请日:2024-05-29
Applicant: 华侨大学
Abstract: 本发明公开了一种基于扩散生成模型的快速人脸图像复原方法及系统,涉及图像复原领域,方法包括以下步骤:制作数据集与选择预训练模型,以获得预训练扩散生成模型;基于预训练扩散生成模型获得快速人脸图像复原模型;利用快速人脸图像复原模型实现对于失真人脸图像的快速复原;所述基于预训练扩散生成模型获得快速人脸图像复原模型,包括:在预训练扩散生成模型的前向加噪模块中添加普罗米修斯随机微分方程,以及在预训练扩散生成模型的反向去噪模块中添加条件引导投影。本发明不仅可以实现复原图像真实性与一致性的保障,而且能大幅度缩短图像复原所需要的时间。
-
公开(公告)号:CN116796814A
公开(公告)日:2023-09-22
申请号:CN202310767100.6
申请日:2023-06-27
Applicant: 华侨大学
Abstract: 本发明公开了一种基于多池优先经验回放的强化学习网络训练方法及装置,构建基于经验回放池和共享池的多池框架;将每个智能体对应的经验回放池中的样本按照采样概率采样至共享缓冲区中,将共享缓冲区中样本放入共享池中,将每个智能体从共享池中抽取的样本存放在各自的缓冲区中;在共享池中采用K‑means算法进行聚类,得到聚类结果,以对共享池中的样本进行清理;对强化学习网络分阶段进行训练,在不同的阶段智能体分别从其对应的经验回放池或者缓冲区中抽取样本进行学习,对经验回放池和共享池中样本的TD误差进行更新,并根据更新后的TD误差对共享池中的样本进行清理;重复交叉执行以上若干步骤,使智能体在环境异步环境下更好的探索最优策略。
-
公开(公告)号:CN118229532B
公开(公告)日:2024-10-22
申请号:CN202410626959.X
申请日:2024-05-21
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06T5/60
Abstract: 本发明公开了一种基于复合Transformer的图像超分辨率方法及系统,涉及图像超分辨率领域,方法包括:构建基于复合Transformer的图像超分辨率网络;利用图像超分辨率网络实现对于低分辨率图像的超分辨率重建,输出对应的高分辨率图像;所述图像超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块,其中,深层特征提取模块包括若干残差组,残差组包括空间多头注意力和通道组注意力层组成的残差复合Transformer以及整合自注意力和卷积前馈网络组成的整合Transformer。本发明通过残差组在空间和通道维度上聚合特征,减少通道数量从而不会丢失空间信息,重建高质量的高分辨率图像。
-
公开(公告)号:CN117495680B
公开(公告)日:2024-05-24
申请号:CN202410001400.8
申请日:2024-01-02
Applicant: 华侨大学
IPC: G06T3/4053 , G06T3/4046 , G06N3/0455 , G06N3/0464 , G06V10/44 , G06V10/80
Abstract: 本发明公开了一种基于特征融合Transformer的多对比度核磁共振图像超分辨率方法,涉及图像处理技术领域,包括:构建浅层特征提取模块;构建双域特征提取模块和双融合特征提取模块并进行组合,生成残差全局特征融合模块,基于残差全局特征融合模块构建深层特征提取模块;构建图像重建模块;将浅层特征提取模块、深层特征提取模块和图像重建模块组合,构建基于特征融合Transformer的多对比度核磁共振图像超分辨率网络,并以待重建的低分辨率图像和核磁共振图像作为网络的输入,得到重建后高分辨率图像。本发明利用特征融合Transformer来提取多对比度MRI图像中所包含的全局与局部特征,使得重建的图像更加清晰。
-
公开(公告)号:CN117495714A
公开(公告)日:2024-02-02
申请号:CN202410004081.6
申请日:2024-01-03
Applicant: 华侨大学
IPC: G06T5/70 , G06N3/0455 , G06N3/0464 , G06T5/10 , G06T5/50
Abstract: 本发明公开了一种基于扩散生成先验的人脸图像复原方法、装置及可读介质,涉及图像处理模块,包括:构建基于预训练的扩散模型的人脸图像复原模型,将待复原的人脸图像输入前向加噪模块中逐步增加噪声,得到噪声图像;将噪声图像输入反向去噪模块中逐步去噪,生成最终复原的人脸图像;将第t步的噪声图像及第t步的时间戳输入噪声预测器,预测得到第t步的噪声;在前向加噪模块中,将第t步的噪声图像和第t步的噪声输入结合融合反演的前向扩散公式,得到第t+1步的噪声图像;在反向去噪模块中,对第t步的噪声图像进行零阈值分解,并与第t步的噪声输入反向扩散公式,得到第t‑1步的噪声图像,解决了现有技术生成的复原图像在真实性和一致性差问题。
-
公开(公告)号:CN117495680A
公开(公告)日:2024-02-02
申请号:CN202410001400.8
申请日:2024-01-02
Applicant: 华侨大学
IPC: G06T3/4053 , G06T3/4046 , G06N3/0455 , G06N3/0464 , G06V10/44 , G06V10/80
Abstract: 本发明公开了一种基于特征融合Transformer的多对比度核磁共振图像超分辨率方法,涉及图像处理技术领域,包括:构建浅层特征提取模块;构建双域特征提取模块和双融合特征提取模块并进行组合,生成残差全局特征融合模块,基于残差全局特征融合模块构建深层特征提取模块;构建图像重建模块;将浅层特征提取模块、深层特征提取模块和图像重建模块组合,构建基于特征融合Transformer的多对比度核磁共振图像超分辨率网络,并以待重建的低分辨率图像和核磁共振图像作为网络的输入,得到重建后高分辨率图像。本发明利用特征融合Transformer来提取多对比度MRI图像中所包含的全局与局部特征,使得重建的图像更加清晰。
-
公开(公告)号:CN117237197A
公开(公告)日:2023-12-15
申请号:CN202311475296.8
申请日:2023-11-08
Applicant: 华侨大学
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法及装置,涉及图像重建领域,该方法包括:获取待重建的低分辨率图像及其对应的梯度图;构建基于交叉注意力机制与Swin‑Transformer的图像超分辨率模型并训练,得到经训练的图像超分辨率模型;将待重建的低分辨率图像输入经训练的图像超分辨率模型,经训练的图像超分辨率模型包括SR分支和梯度分支,SR分支和梯度分支中分别采用浅层特征提取模块提取低分辨率图像及其对应的梯度图的浅层特征,通过全局深层特征提取模块将浅层特征进行融合,得到深层特征,并输入图像重建模块,重建得到高分辨率图像,解决原有经典图像超分辨率模型难以提取全局特征的问题,以提高重建图像的清晰度。
-
公开(公告)号:CN116739903A
公开(公告)日:2023-09-12
申请号:CN202310793797.4
申请日:2023-06-30
Applicant: 华侨大学
IPC: G06T3/40 , G06V10/764 , G06V10/42 , G06V10/774
Abstract: 本发明公开了一种结合分类加强与细化微调的目标跟踪方法、装置及可读介质,构建目标跟踪网络模型并训练,得到经训练的目标跟踪网络模型,将当前帧输入ResNet模块,将ResNet模块的输出特征输入全局感知模块,得到全局感知特征,将全局感知特征与模板帧输入分类加强模块,得到前景特征图和前景概率特征图;在第一分支中,将降维后的全局感知特征与模板帧输入判别相关滤波器,得到定位特征图;在第二分支中,将前景特征图、前景概率特征图和定位特征图融合得到混合特征图,将混合特征图与ResNet模块的部分输出特征输入微调路径模块,得到目标的掩膜,通过拟合掩膜,得到矩形框,细化微调模块根据矩形框提取目标的特征,并与模板帧做逐像素相关,得到目标跟踪框。
-
-
-
-
-
-
-
-
-