公开(公告)号：CN110324664B

公开(公告)日：2021-06-04

申请号：CN201910612434.X

申请日：2019-07-11

Applicant: 南开大学

Inventor： 刘俐君 ,  任金凯 ,  王子义 ,  公倩昀 ,  许靖桐

IPC: H04N21/234 ,  H04N21/2343 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于神经网络的视频补帧方法及其模型的训练方法；基于预设的训练集合确定当前的训练参考帧后，将训练参考帧输入至预设的初始模型；通过特征提取网络生成训练参考帧的预设层级数量的初始特征图；通过特征融合网络将预设层级数量的初始特征图融合为融合特征图；再将融合特征图输入至输出网络，输出第一训练帧和第二训练帧之间的训练补充视频帧；通过预设的预测损失函数确定训练补充视频帧的损失值；继续向初始模型输入下一组训练参考帧进行训练，直至初始模型中的参数收敛，结束训练，得到视频补帧模型。本发明通过特征提取、特征融合过程获取到参考帧全面的特征信息，从而得到补帧效果较好的视频补充帧，从而提高用户观影体验。

公开(公告)号：CN110324664A

公开(公告)日：2019-10-11

申请号：CN201910612434.X

申请日：2019-07-11

Applicant: 南开大学

Inventor： 刘俐君 ,  任金凯 ,  王子义 ,  公倩昀 ,  许靖桐

IPC: H04N21/234 ,  H04N21/2343 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于神经网络的视频补帧方法及其模型的训练方法；基于预设的训练集合确定当前的训练参考帧后，将训练参考帧输入至预设的初始模型；通过特征提取网络生成训练参考帧的预设层级数量的初始特征图；通过特征融合网络将预设层级数量的初始特征图融合为融合特征图；再将融合特征图输入至输出网络，输出第一训练帧和第二训练帧之间的训练补充视频帧；通过预设的预测损失函数确定训练补充视频帧的损失值；继续向初始模型输入下一组训练参考帧进行训练，直至初始模型中的参数收敛，结束训练，得到视频补帧模型。本发明通过特征提取、特征融合过程获取到参考帧全面的特征信息，从而得到补帧效果较好的视频补充帧，从而提高用户观影体验。