- 专利标题: 基于多模态融合的压缩视频质量增强方法及装置
-
申请号: CN202311510614.X申请日: 2023-11-14
-
公开(公告)号: CN117237259B公开(公告)日: 2024-02-27
- 发明人: 陈婧 , 陈柯米 , 曾焕强 , 朱建清 , 施一帆 , 林琦
- 申请人: 华侨大学
- 申请人地址: 福建省泉州市丰泽区城东城华北路269号
- 专利权人: 华侨大学
- 当前专利权人: 华侨大学
- 当前专利权人地址: 福建省泉州市丰泽区城东城华北路269号
- 代理机构: 厦门市首创君合专利事务所有限公司
- 代理商 连耀忠
- 主分类号: G06T5/50
- IPC分类号: G06T5/50 ; G06N3/045 ; G06N3/0464 ; G06N3/048 ; G06V10/54 ; G06V10/80 ; G06V10/82
摘要:
本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。
公开/授权文献
- CN117237259A 基于多模态融合的压缩视频质量增强方法及装置 公开/授权日:2023-12-15