-
公开(公告)号:CN106331723B
公开(公告)日:2019-12-13
申请号:CN201610688578.X
申请日:2016-08-18
Applicant: 上海交通大学
IPC: H04N19/51 , H04N19/513 , H04N19/139 , H04N19/137
Abstract: 本发明公开一种基于运动区域分割的视频帧率上变换方法及系统,所述方法步骤为:提取视频图像的特征点;在图像之间进行特征点匹配,获取特征点的运动矢量;对特征点运动矢量聚类处理,提取运动区域信息;将运动区域的运动信息,从特征点出发,传播到图像中的其它每一个像素点,获得逐像素的运动区域分割结果和初始的逐像素运动矢量场;根据运动区域分割结果,对运动矢量场进行平滑滤波,获得优化的运动矢量场;根据运动矢量场进行补偿插值,获得内插帧图像,完成帧率的上变换。本发明能够准确地得到视频中的运动区域信息,并有效地辅助运动估计,运动矢量滤波,完成视频帧率的上变换,提高视频观看体验。
-
公开(公告)号:CN106210767B
公开(公告)日:2020-01-07
申请号:CN201610656968.9
申请日:2016-08-11
Applicant: 上海交通大学
IPC: H04N21/234 , H04N21/2343 , H04N21/44 , H04N21/4402
Abstract: 本发明公开一种智能提升运动流畅性的视频帧率上变换方法及系统,所述方法包括以下步骤:步骤一,对连续的两帧原始视频图像进行预分析;步骤二,对两帧图像进行运动估计;步骤三,在两帧原始图像之间,根据估计的运动信息计算出新的内插帧;步骤四,对内插帧图像进行空洞填补、块效应滤波、图像质量评价等后处理;步骤五,综合前面四个步骤的信息判断是否用重复帧替代内插帧。在此方法基础上,提出一种智能的提升运动流畅性的视频帧率上变换系统,通过帧率上变换各个处理模块的流水控制,实现各模块信息的高复用和高并行。本发明能够在源端实现高质量的视频帧率提升,智能地提升视频运动流畅性。
-
公开(公告)号:CN106210449B
公开(公告)日:2020-01-07
申请号:CN201610657029.6
申请日:2016-08-11
Applicant: 上海交通大学
IPC: H04N5/14
Abstract: 本发明公开一种多信息融合的帧率上变换运动估计方法及系统,方法步骤为:读取前后两帧图像,分别对其进行降采样,对降采样的图像进行基于光流法的运动估计,对原始图像进行块匹配的运动估计,提取前后两帧图像的SIFT特征,计算特征向量并进行特征匹配,得到特征匹配的运动矢量,对块匹配运动矢量、特征匹配运动矢量和光流法运动矢量进行融合,运动矢量的传递。本发明相对比传统基于块匹配的运动估计算法,精度提升明显。针对一般的光流估计算法,在小物体运动矢量以及运动边界矢量保持上具有更好的性能。
-
公开(公告)号:CN106331723A
公开(公告)日:2017-01-11
申请号:CN201610688578.X
申请日:2016-08-18
Applicant: 上海交通大学
IPC: H04N19/51 , H04N19/513 , H04N19/139 , H04N19/137
Abstract: 本发明公开一种基于运动区域分割的视频帧率上变换方法及系统,所述方法步骤为:提取视频图像的特征点;在图像之间进行特征点匹配,获取特征点的运动矢量;对特征点运动矢量聚类处理,提取运动区域信息;将运动区域的运动信息,从特征点出发,传播到图像中的其它每一个像素点,获得逐像素的运动区域分割结果和初始的逐像素运动矢量场;根据运动区域分割结果,对运动矢量场进行平滑滤波,获得优化的运动矢量场;根据运动矢量场进行补偿插值,获得内插帧图像,完成帧率的上变换。本发明能够准确地得到视频中的运动区域信息,并有效地辅助运动估计,运动矢量滤波,完成视频帧率的上变换,提高视频观看体验。
-
公开(公告)号:CN106210767A
公开(公告)日:2016-12-07
申请号:CN201610656968.9
申请日:2016-08-11
Applicant: 上海交通大学
IPC: H04N21/234 , H04N21/2343 , H04N21/44 , H04N21/4402
Abstract: 本发明公开一种智能提升运动流畅性的视频帧率上变换方法及系统,所述方法包括以下步骤:步骤一,对连续的两帧原始视频图像进行预分析;步骤二,对两帧图像进行运动估计;步骤三,在两帧原始图像之间,根据估计的运动信息计算出新的内插帧;步骤四,对内插帧图像进行空洞填补、块效应滤波、图像质量评价等后处理;步骤五,综合前面四个步骤的信息判断是否用重复帧替代内插帧。在此方法基础上,提出一种智能的提升运动流畅性的视频帧率上变换系统,通过帧率上变换各个处理模块的流水控制,实现各模块信息的高复用和高并行。本发明能够在源端实现高质量的视频帧率提升,智能地提升视频运动流畅性。
-
公开(公告)号:CN110351511A
公开(公告)日:2019-10-18
申请号:CN201910575778.8
申请日:2019-06-28
Applicant: 上海交通大学
IPC: H04N7/01
Abstract: 本发明提供了一种基于场景深度估计的视频帧率上变换系统及方法,其中系统包括模块一:光流估计网络;模块二:场景深度估计网络;模块三:上下文提取网络;模块四:插值核估计网络;模块五:深度感知的光流场映射;模块六:自适应插值映射;模块七:中间帧生成网络;本发明利用场景深度估计,提供了在视频帧率上变换中针对暴露遮蔽问题的解决办法;本发明还利用深度学习技术,提供了一种能够被端到端训练的神经网络系统,使得系统能够在大量的无标签的视频数据上进行训练优化。
-
公开(公告)号:CN106210449A
公开(公告)日:2016-12-07
申请号:CN201610657029.6
申请日:2016-08-11
Applicant: 上海交通大学
IPC: H04N5/14
Abstract: 本发明公开一种多信息融合的帧率上变换运动估计方法及系统,方法步骤为:读取前后两帧图像,分别对其进行降采样,对降采样的图像进行基于光流法的运动估计,对原始图像进行块匹配的运动估计,提取前后两帧图像的SIFT特征,计算特征向量并进行特征匹配,得到特征匹配的运动矢量,对块匹配运动矢量、特征匹配运动矢量和光流法运动矢量进行融合,运动矢量的传递。本发明相对比传统基于块匹配的运动估计算法,精度提升明显。针对一般的光流估计算法,在小物体运动矢量以及运动边界矢量保持上具有更好的性能。
-
公开(公告)号:CN104660951A
公开(公告)日:2015-05-27
申请号:CN201510031248.9
申请日:2015-01-21
Applicant: 上海交通大学
Abstract: 本发明提供了一种高清转超高清视频图像的超分辨率放大方法,所述方法步骤包括:步骤一:从高清视频流中读取一帧图像;步骤二:对读取的图像数据预处理;步骤三:对读取的图像按固定大小分块;步骤四:对每一个图像块进行n步小倍数scale放大,其中每一步都使用局部自样本学习的放大方法;步骤五:将图像块重新拼接、后处理,得到一帧超高清视频图像;步骤六:回到步骤一,读取下一帧图像。本发明所述方法能够实现实时地将高清视频转换成超高清视频,保持了高质量的画质,同时也实现了25fps的实时帧速率。
-
-
-
-
-
-
-