基于时序校正卷积的视频预测方法
摘要:
本发明公开了基于时序校正卷积的视频预测方法。本发明方法对给定的原始视频进行采样预处理获得视频帧序列,并将该序列输入时序上下文融合模块,得到融合外观特征图和融合时空编码特征图,同时将该序列输入时序卷积校正模块得到卷积校正张量;然后,将得到的融合外观特征图、融合时空编码特征图和卷积校正张量通过自适应卷积时空编码器生成预测时空编码特征图;最后将预测时空编码特征图通过时空记忆解码器进行解码,输出预测视频帧序列。本发明方法不仅能够依据不同时刻的视频帧对卷积核参数进行校正,还能通过时序上下文融合策略对当前视频帧和历史帧时空编码特征的内在关系进行建模,从而生成更高视觉质量的预测视频帧序列。
公开/授权文献
0/0