公开(公告)号：CN116757977A

公开(公告)日：2023-09-15

申请号：CN202310502926.X

申请日：2023-05-06

Applicant: 华侨大学

Inventor： 陈婧 ,  陈柯米 ,  曾焕强 ,  朱建清 ,  林琦

IPC: G06T5/50 ,  G06T7/246 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多尺度双向卷积的压缩视频感官质量增强方法及系统，包括：将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；提取对齐后的特征的时序信息，获得时空融合后的特征；提取时空融合后的特征的方向特征，获得水平特征和垂直特征；基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。本发明能够提高重建视频帧的感官质量，恢复的重建帧更符合人类视觉系统，能够改善压缩带来的质量下降问题。

公开(公告)号：CN117237259B

公开(公告)日：2024-02-27

申请号：CN202311510614.X

申请日：2023-11-14

Applicant: 华侨大学

Inventor： 陈婧 ,  陈柯米 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦

IPC: G06T5/50 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/54 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置，涉及图像处理领域，该方法包括：获取图像帧及其对应的光流图和纹理图并分别进行特征提取，得到图像特征、光流特征和纹理特征；构建压缩视频质量增强模型并训练，得到经训练的压缩视频质量增强模型；将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型，图像特征、光流特征和纹理特征输入多模态一致性单元，自适应调整三种模态信息的分布，得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合，得到融合特征并输入多模态重构单元，得到重构信息，将重构信息与图像帧相加，得到增强的视频帧，解决单模态图像难以有效改善最终重建视频的质量的问题。

公开(公告)号：CN117237259A

公开(公告)日：2023-12-15

申请号：CN202311510614.X

申请日：2023-11-14

Applicant: 华侨大学

Inventor： 陈婧 ,  陈柯米 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦

IPC: G06T5/50 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/54 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置，涉及图像处理领域，该方法包括：获取图像帧及其对应的光流图和纹理图并分别进行特征提取，得到图像特征、光流特征和纹理特征；构建压缩视频质量增强模型并训练，得到经训练的压缩视频质量增强模型；将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型，图像特征、光流特征和纹理特征输入多模态一致性单元，自适应调整三种模态信息的分布，得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合，得到融合特征并输入多模态重构单元，得到重构信息，将重构信息与图像帧相加，得到增强的视频帧，解决单模态图像难以有效改善最终重建视频的质量的问题。