公开(公告)号：CN119863405A

公开(公告)日：2025-04-22

申请号：CN202510341442.0

申请日：2025-03-21

Applicant: 华侨大学

Inventor： 陈婧 ,  左雨亭 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦 ,  郑惠洁

IPC: G06T5/77 ,  G06T5/60 ,  G06V10/42 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明一种基于频域融合的大面积缺损视频修复方法及装置，涉及视频处理技术领域，针对现阶段缺损视频修复方法主要局限于小面积缺损场景，对大面积缺损的视频内容修复能力不足，难以生成合理的视觉修复结果的问题，提出了一种有效的解决方法，方法包括以下步骤：首先，获取缺损的视频帧序列，对视频帧序列进行下采样；接着，使用堆叠的频域融合残差块对下采样后的缺损视频帧进行全局信息建模，频域融合残差块由两个自适应频域交叉融合模块依次连接而成；然后，利用堆叠的时间Transformer模块优化多帧之间的时间一致性；最后，进行上采样以重建视频帧，得到最终修复的视频。本发明能够在大范围缺损区域中生成视觉上合理、内容流畅自然的视频修复效果。

公开(公告)号：CN118469876B

公开(公告)日：2024-10-01

申请号：CN202410912771.1

申请日：2024-07-09

Applicant: 华侨大学

Inventor： 陈婧 ,  左雨亭 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦 ,  郑惠洁

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06T5/60

Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统，涉及视频处理技术领域，方法包括以下步骤：特征提取模块接收待修复的缺损视频帧序列，采用卷积神经网络对视频帧进行特征提取，输出第一特征；强感知Transformer模块接收第一特征，采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模，输出第二特征；重构模块接收第二特征，采用反卷积层进行视频帧重建，输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模，有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题，实现更好的修复效果。

公开(公告)号：CN118469876A

公开(公告)日：2024-08-09

申请号：CN202410912771.1

申请日：2024-07-09

Applicant: 华侨大学

Inventor： 陈婧 ,  左雨亭 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦 ,  郑惠洁

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06T5/60

Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统，涉及视频处理技术领域，方法包括以下步骤：特征提取模块接收待修复的缺损视频帧序列，采用卷积神经网络对视频帧进行特征提取，输出第一特征；强感知Transformer模块接收第一特征，采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模，输出第二特征；重构模块接收第二特征，采用反卷积层进行视频帧重建，输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模，有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题，实现更好的修复效果。