基于多模态融合的压缩视频质量增强方法及装置

    公开(公告)号:CN117237259A

    公开(公告)日:2023-12-15

    申请号:CN202311510614.X

    申请日:2023-11-14

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。

    基于全距离特征聚合的单帧图像超分辨率方法及系统

    公开(公告)号:CN117218005A

    公开(公告)日:2023-12-12

    申请号:CN202311476526.2

    申请日:2023-11-08

    Applicant: 华侨大学

    Abstract: 本发明涉及图像超分辨率的技术领域,公开了一种基于全距离特征聚合的单帧图像超分辨率方法及系统,包括以下步骤:利用通道上采样卷积层,将输入的低分辨率图像转换为通道数为C的浅层特征图;对浅层特征图进行短距离、中距离和长距离的特征提取,并聚合成为全距离特征图;利用基于亚像素卷积的通道下采样卷积层,将全距离特征图的通道数由C下采样至输入的低分辨率图像的通道数。本发明提供的超分辨率方法克服了原有经典超分辨率模型提取的特征信息尺度单一的问题,充分利用多尺度特征信息以复原精细的细节,同时抑制冗余噪声对图像重建的干扰。

    融合图重采样和梯度特征的参考点云质量评估方法及系统

    公开(公告)号:CN117011299A

    公开(公告)日:2023-11-07

    申请号:CN202311280774.X

    申请日:2023-10-07

    Applicant: 华侨大学

    Abstract: 本发明公开了一种融合图重采样和梯度特征的参考点云质量评估方法及系统,涉及图像处理领域,方法包括:使用基于图的关键点重采样方法,对输入的参考点云进行关键点提取;以关键点为中心划分参考点云和失真点云的局部邻域组,根据关键点与其他点在坐标空间中的欧几里德距离来聚类每个局部区域内的点;分别提取参考点云和失真点云的三维梯度幅值特征和三维梯度方向图特征,基于三维梯度幅值特征计算三维梯度幅值相似度,基于三维梯度方向图特征计算三维梯度方向图相似度,并计算出联合三维梯度特征相似度;基于联合三维梯度特征相似度,使用响应强度值进行加权池化,得到失真点云的客观质量分数。本发明具有较高的识别准确性、敏感性以及鲁棒性。

    基于动态排序优化的图文检索深度神经网络模型训练方法

    公开(公告)号:CN117010458A

    公开(公告)日:2023-11-07

    申请号:CN202311287656.1

    申请日:2023-10-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于动态排序优化的图文检索深度神经网络模型训练方法,涉及信息检索技术领域,包括:构建深度神经网络用于图像与文本数据的深度特征提取;基于输入的图文实例对的标签与特征信息,计算实例间的标签层级相似度矩阵、特征层级相似度矩阵以及不同实例之间的亲和矩阵;通过构建融合语义相似度损失、排序损失以及哈希量化损失的综合损失函数,采用梯度下降优化算法缩小所述损失值,得到训练好的深度神经网络模型。本发明在模型训练过程中动态地调整梯度优化强度,提高了训练速度和精度,通过训练好的深度神经网络模型实现跨模态检索精度的提升。

    基于左右分和式轻量卷积神经网络的裂缝分割方法及装置

    公开(公告)号:CN116777926B

    公开(公告)日:2023-10-31

    申请号:CN202311053453.6

    申请日:2023-08-21

    Applicant: 华侨大学

    Abstract: 本发明涉及图像分割领域,公开了基于左右分和式轻量卷积神经网络的裂缝分割方法及装置,方法包含以下步骤:S1,原始裂缝图片输入到左右分和式轻量卷积神经网络;S2,所述左分式结构输出特征映射#imgabs0#;S3,所述右分式结构输出特征映射#imgabs1#;S4,第i层神经构件融合左分式结构的输出特征映射#imgabs2#与右分式结构的输出特征映射#imgabs3#,输出融合特征#imgabs4#,作为下一层神经结构的输入特征映射#imgabs5#;最后一层神经构件输出的融合特征#imgabs6#作为最终输出,表达裂缝语义分割特征。本发明的左分式采用卷积与最大池化层运算,右分式采用轻量异质卷积与平均池化层运算,将左右两个分式的输出特征相加,既增强了左右分式特征学习的互补性,又实现了网络轻量化。

    基于多池优先经验回放的强化学习网络训练方法及装置

    公开(公告)号:CN116796814A

    公开(公告)日:2023-09-22

    申请号:CN202310767100.6

    申请日:2023-06-27

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多池优先经验回放的强化学习网络训练方法及装置,构建基于经验回放池和共享池的多池框架;将每个智能体对应的经验回放池中的样本按照采样概率采样至共享缓冲区中,将共享缓冲区中样本放入共享池中,将每个智能体从共享池中抽取的样本存放在各自的缓冲区中;在共享池中采用K‑means算法进行聚类,得到聚类结果,以对共享池中的样本进行清理;对强化学习网络分阶段进行训练,在不同的阶段智能体分别从其对应的经验回放池或者缓冲区中抽取样本进行学习,对经验回放池和共享池中样本的TD误差进行更新,并根据更新后的TD误差对共享池中的样本进行清理;重复交叉执行以上若干步骤,使智能体在环境异步环境下更好的探索最优策略。

    基于左右分和式轻量卷积神经网络的裂缝分割方法及装置

    公开(公告)号:CN116777926A

    公开(公告)日:2023-09-19

    申请号:CN202311053453.6

    申请日:2023-08-21

    Applicant: 华侨大学

    Abstract: 本发明涉及图像分割领域,公开了基于左右分和式轻量卷积神经网络的裂缝分割方法及装置,方法包含以下步骤:S1,原始裂缝图片输入到左右分和式轻量卷积神经网络;S2,所述左分式结构输出特征映射#imgabs0#;S3,所述右分式结构输出特征映射#imgabs1#;S4,第i层神经构件融合左分式结构的输出特征映射#imgabs2#与右分式结构的输出特征映射#imgabs3#,输出融合特征#imgabs4#,作为下一层神经结构的输入特征映射#imgabs5#;最后一层神经构件输出的融合特征#imgabs6#作为最终输出,表达裂缝语义分割特征。本发明的左分式采用卷积与最大池化层运算,右分式采用轻量异质卷积与平均池化层运算,将左右两个分式的输出特征相加,既增强了左右分式特征学习的互补性,又实现了网络轻量化。

Patent Agency Ranking