-
公开(公告)号:CN117671135A
公开(公告)日:2024-03-08
申请号:CN202311512308.X
申请日:2023-11-14
Applicant: 华侨大学
IPC: G06T17/00 , G06N3/0455 , G06N3/0464 , G06T3/4053 , G06T7/13 , G06V10/40
Abstract: 本发明公开了一种基于稀疏再聚焦的高分辨率人脸图像重建方法,涉及图像处理技术领域,包括:利用卷积核为3×3的第一卷积层提取输入的低分辨率人脸图像的浅层特征;基于三个依次连接的组件特征提取网络提取组件特征;其中,第一个组件特征提取网络的输入与第一卷积层的输出相连接;基于三个依次连接的组件生成模块生成高分辨率组件图;其中,每个组件生成模块的输入与一个组件特征提取网络的输出相连接;利用逐像素相加合并高分辨率组件图,生成重建的高分辨率人脸图像。本发明能够有效抑制冗余特征并强调关键特征,实现高效的特征提取;根据图像组件的复杂度分而治之地重建组件并合并,能够降低高频细节的重建难度并复原高分辨率人脸图像。
-
公开(公告)号:CN117237259A
公开(公告)日:2023-12-15
申请号:CN202311510614.X
申请日:2023-11-14
Applicant: 华侨大学
Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。
-
公开(公告)号:CN117010458A
公开(公告)日:2023-11-07
申请号:CN202311287656.1
申请日:2023-10-08
Applicant: 华侨大学
IPC: G06N3/0464 , G06N3/048 , G06N3/084 , G06F16/31 , G06F16/33 , G06F16/51 , G06F16/583
Abstract: 本发明公开了一种基于动态排序优化的图文检索深度神经网络模型训练方法,涉及信息检索技术领域,包括:构建深度神经网络用于图像与文本数据的深度特征提取;基于输入的图文实例对的标签与特征信息,计算实例间的标签层级相似度矩阵、特征层级相似度矩阵以及不同实例之间的亲和矩阵;通过构建融合语义相似度损失、排序损失以及哈希量化损失的综合损失函数,采用梯度下降优化算法缩小所述损失值,得到训练好的深度神经网络模型。本发明在模型训练过程中动态地调整梯度优化强度,提高了训练速度和精度,通过训练好的深度神经网络模型实现跨模态检索精度的提升。
-
公开(公告)号:CN116796814A
公开(公告)日:2023-09-22
申请号:CN202310767100.6
申请日:2023-06-27
Applicant: 华侨大学
Abstract: 本发明公开了一种基于多池优先经验回放的强化学习网络训练方法及装置,构建基于经验回放池和共享池的多池框架;将每个智能体对应的经验回放池中的样本按照采样概率采样至共享缓冲区中,将共享缓冲区中样本放入共享池中,将每个智能体从共享池中抽取的样本存放在各自的缓冲区中;在共享池中采用K‑means算法进行聚类,得到聚类结果,以对共享池中的样本进行清理;对强化学习网络分阶段进行训练,在不同的阶段智能体分别从其对应的经验回放池或者缓冲区中抽取样本进行学习,对经验回放池和共享池中样本的TD误差进行更新,并根据更新后的TD误差对共享池中的样本进行清理;重复交叉执行以上若干步骤,使智能体在环境异步环境下更好的探索最优策略。
-
公开(公告)号:CN114979709A
公开(公告)日:2022-08-30
申请号:CN202210726211.8
申请日:2022-06-24
Applicant: 华侨大学
IPC: H04N21/234 , H04N21/44 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于混合特征的无参考屏幕视频质量评价方法及系统,包括:S10,将输入的失真屏幕视频SCV以连续30帧为一组,组合形成多个屏幕视频块SCVB;S20,计算每个屏幕视频块SCVB中每一帧视频帧对应的活动度,选取其中活动度最大的视频帧作为候选帧;S30,使用预训练好的卷积神经网络对所述屏幕视频块和候选帧进行特征提取,分别得到视频级特征和帧级特征;将视频级特征和帧级特征进行组合,形成用于表征视频的总体特征;S40,通过浅层卷积神经网络,将视频的总体特征映射成对应的质量分数。本发明充分利用了卷积神经网络在特征提取方面的优点,通过同时处理帧级和视频块级特征更加全面的提取了视频特征。
-
公开(公告)号:CN119850441A
公开(公告)日:2025-04-18
申请号:CN202510317059.1
申请日:2025-03-18
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
Abstract: 本发明公开了一种基于频域边界协同优化的沉浸式视频增强方法及装置,涉及视频处理领域,包括:获取待重建的压缩的多视点纹理加深度视频序列并输入到经训练的沉浸式视频增强模型;当前的待增强视频帧先经过特征提取模块,分别提取得到高频特征和低频特征;高频特征和低频特征经过频域增强模块,得到频域增强图像;频域增强图像和当前的待增强视频帧输入到边界增强模块,得到融合图像;融合图像和当前的待增强视频帧的相邻视频帧输入到时空可变形卷积模块,得到对齐后的融合图像,对齐后的融合图像经过质量增强模块,预测得到增强残差并生成对应的重建视频。本发明解决压缩伪影、边界伪影以及沉浸式视频的质量低等问题。
-
公开(公告)号:CN119762721A
公开(公告)日:2025-04-04
申请号:CN202510261796.4
申请日:2025-03-06
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G06T19/20 , G06T9/00 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于语义与几何引导的多阶段Mamba点云补全方法及装置,涉及点云处理领域,包括:构建基于语义与几何引导的多阶段Mamba点云补全模型并训练,得到经训练的多阶段Mamba点云补全模型;多排序策略Mamba解码器单元包括依次连接的若干个阶段的多排序策略Mamba解码器;获取待补全的不完整点云并输入到经训练的多阶段Mamba点云补全模型,不完整点云经过Transformer‑Mamba联合的点云局部特征编码单元,得到编码特征,编码特征输入到稀疏点云生成单元中,得到稀疏点云;稀疏点云输入到多排序策略Mamba解码器单元中,得到解码特征,解码特征经过点云上采样单元,得到预测的完整点云,克服现有Transformer编码器‑解码器结构二次方复杂度和局部细节丢失的问题。
-
公开(公告)号:CN119180752B
公开(公告)日:2025-02-25
申请号:CN202411678685.5
申请日:2024-11-22
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06T3/4046
Abstract: 本发明公开了一种基于高效频域Transformer的轻量级图像超分辨率方法及装置,涉及图像处理领域,包括:构建基于高效频域Transformer的图像超分辨率模型并训练,得到经训练的图像超分辨率模型,图像超分辨率模型包括第一卷积层、亚像素卷积层、第二卷积层以及若干个高效频域Transformer模块;获取待重建的低分配率图像和上采样因子并输入经训练的图像超分辨率模型,先经过第一卷积层,得到第一卷积层的输出特征,第一卷积层的输出特征依次经过若干个高效频域Transformer模块,将最后一个高效频域Transformer模块的输出特征与第一卷积层的输出特征相加,得到第二相加结果,第二相加结果依次经过亚像素卷积层和第二卷积层,得到高分辨率重建图像。本发明克服现有Transformer方法计算复杂度过高的问题。
-
公开(公告)号:CN119359547A
公开(公告)日:2025-01-24
申请号:CN202411936474.7
申请日:2024-12-26
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0464 , G06N3/0495 , G06T3/4046
Abstract: 本发明设计图像处理技术领域,公开了一种基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,包括以下步骤:构建动态非对称蒸馏模块和层间全维信息交互模块;基于动态非对称蒸馏模块和层间全维信息交互模块构建轻量级图像超分辨率网络;利用所述轻量级图像超分辨率网络实现图像超分辨率;其中,所述轻量级图像超分辨率网络利用卷积层对输入的低分辨率图像进行浅层特征提取,利用动态非对称蒸馏模块和层间全维信息交互模块对浅层特征进行深层特征提取,利用卷积层和上采样对深层特征进行图像重建,得到高分辨率图像。本发明以更轻量、更有效的方式提取关键特征,从而实现在提升重建效果的同时,最小化计算开销和参数量。
-
公开(公告)号:CN119323805A
公开(公告)日:2025-01-17
申请号:CN202411876774.0
申请日:2024-12-19
Applicant: 华侨大学
IPC: G06V40/10 , G06N3/0464 , G06N3/084 , G06V10/32 , G06V40/20
Abstract: 本发明公开了一种动静正则混合采样的行人再辨识方法及系统,涉及公共安全智能视频监控技术领域。实践中,采样常独立于行人再辨识模型训练,导致训练过程采样的信息丢失不受控制,制约识辨准确性。为此,本发明设计了正则动态线性采样和静态线性采样混和方法,实现行人再辨识模型训练过程中联合优化采样效果,其中,前者通过归一化的可学习参数,以数据驱动的动态方式学得动态的像素组合权重;后者利用双线性变换来确定静态的像素组合权重,实现与数据无关的采样策略。本发明进一步设计了动静正则项,约束动态的像素组合权重与静态的像素组合权重之间的差异,控制可学习参数的自由度,更好地组合动静采样,减少传统单一静态采样过程中信息损失。
-
-
-
-
-
-
-
-
-