基于多模态融合的压缩视频质量增强方法及装置
摘要:
本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。
0/0