公开(公告)号：CN115880149A

公开(公告)日：2023-03-31

申请号：CN202211489722.9

申请日：2022-11-25

Applicant: 济南大学

Inventor： 杨晓晖 ,  刘维靖 ,  冯志全 ,  徐涛 ,  郭庆北

IPC: G06T3/40 ,  G06T7/246 ,  G06V10/80 ,  G06V10/82 ,  G06N3/044 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了基于轻量化驱动和三尺度编码的视频帧插值方法及系统，获取待插值视频的第i帧原始图像和第i+1帧原始图像；分别对第i帧原始图像和第i+1帧原始图像进行尺度缩放，得到第i帧缩小尺度的图像、第i+1帧缩小尺度的图像、第i帧放大尺度的图像、第i+1帧放大尺度的图像；将原始图像和尺度缩放后的图像均输入到训练后的视频帧插值模型中，输出插值图像；其中，训练后的视频帧插值模型，对原始图像和尺度缩放后的图像，分别进行三个尺度的特征提取，采用通道注意力机制模块对三个尺度的特征进行融合，采用双重注意力机制模块对融合后的特征进行增强；再对增强后的特征进行帧扭曲操作，得到插值图像。

公开(公告)号：CN115170402A

公开(公告)日：2022-10-11

申请号：CN202210492821.6

申请日：2022-05-07

Applicant: 山东海量信息技术研究院 ,  济南大学

Inventor： 杨晓晖 ,  刘维靖 ,  冯志全 ,  曲守宁 ,  赵新勇

IPC: G06T5/00 ,  G06T5/50 ,  G06T3/40 ,  G06N3/04 ,  G06N3/08 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明提出了基于循环残差卷积和过度参数化卷积的帧插入方法及系统，将获取的前后两帧图片拼接后输入到基于循环卷积和残差操作的特征提取器中,提取深度特征；利用深度特征得到两帧图片中每个像素的偏移向量和权重,根据偏移向量和权重对每个像素进行扭曲,得到扭曲后的两帧图片；通过基于Gr i dNet的帧生成网络对扭曲后的前后两帧图片进行融合,生成新的插入帧；本发明通过基于循环残差卷积的特征提取器提取更准确的深度特征，过度参数化卷积提高深度网络训练的速度，并帮助网络在不增加计算复杂度的情况下提高网络性能，提高插入帧的视觉质量。