-
公开(公告)号：CN115393232A
公开(公告)日：2022-11-25
申请号：CN202211108991.6
申请日：2022-09-13
Applicant: 上海交通大学 , 咪咕文化科技有限公司
Abstract: 本发明提供一种基于多尺度由粗到精变换器网络视频帧率提升方法和系统，包括：采用特征提取网络从输入整数帧中提取特征；第一阶段网络采用粗中间帧估计网络对整数帧特征进行隐式运动估计，获得粗中间帧；第二阶段网络采用特征细化变换器网络将整数帧特征迁徙到粗中间帧的位置，获得精细中间帧；建立粗中间帧和精细中间帧损失函数，对两个损失函数相加进行训练；连续多帧低帧率视频输入训练好的第一阶段网络和第二阶段网络，重建出精细中间帧。本实施例采用两阶段逐级细化的方式进行视频插帧，使用纯时空卷积的方式提取运动信息，以避免预设运动模型来估计光流。同时采用变换器网络，估计整数帧与中间帧的多对一映射来提升特征迁移的鲁棒性。
-
公开(公告)号：CN114885178A
公开(公告)日：2022-08-09
申请号：CN202210423557.0
申请日：2022-04-21
Applicant: 上海交通大学
IPC: H04N19/577 , H04N19/42 , H04N19/154 , H04N7/14 , G06V40/16 , G06T9/00 , G06V20/40
Abstract: 本发明公开了一种针对人脸视频的双向帧预测方法，包括：在时域上采样人脸视频的三帧图像；获得所述三帧图像各自对应的关键点热力图；结合所述三帧图像和所述关键点热力图，重建出中间帧图像。本发明有助于合成时域上光滑流畅的视频，提升观者的主观体验；本发明还公开了基于上述方法的一种极低码率的人脸视频混合压缩方法，将传统编码技术能够进行像素级精确恢复的优势与深度学习技术能够基于简略信息进行高质量重建的优势相结合，达到了在极低码率下合成高质量人脸视频的目的。
-
公开(公告)号：CN113691792A
公开(公告)日：2021-11-23
申请号：CN202110885354.9
申请日：2021-08-03
Applicant: 上海交通大学 , 咪咕文化科技有限公司
Abstract: 本发明提供一种基于3D卷积的视频比特位深扩展方法、装置及介质，包括：S1：建立由低比特图像与对应的高比特图像组成有监督的数据集；S2：建立视频位深扩展网络，视频位深扩展网络以3D卷积为基本单元，以编码器‑解码器为主要结构；S3：以最小化损失函数为目标，优化更新视频位深扩展网络中的参数，每轮训练完成后使用测试集对视频位深扩展网络的学习效果和泛化能力进行测试；S4：训练完成后，将测试集中的低比特图像序列输入到网络中，重建出高比特图像序列。本发明保留了图像位深扩展方法性能的同时，改善了现有图像位深扩展方法在处理视频时由于同一区域前后处理结果不一致，易出现闪烁、抖动和假边缘移动等的问题。
-
公开(公告)号：CN112347852A
公开(公告)日：2021-02-09
申请号：CN202011075951.7
申请日：2020-10-10
Applicant: 上海交通大学
Abstract: 本发明公开了一种体育运动视频的目标追踪与语义分割方法及装置、插件，该方法包括：根据输入的视频帧和目标初始化位置信息提取特征图，获得特征图信息；根据特征图信息对目标进行定位，获得目标位置信息；对特征图信息及目标位置信息进行特征的融合，并且对非目标区域的背景信息进行过滤；根据融合特征及特征图信息进行解码操作，并最终形成目标的语义掩膜。该装置包括：骨干网络编码器、预测网络单元、特征融合网络单元以及解码器。该插件包括：视频信息组件、视频预览组件、视频播放组件、新建目标组件、追踪调整组件以及特效组件。通过本发明，能够在存在目标形变、旋转、遮挡等问题的体育视频中提升追踪精度。
-
公开(公告)号：CN112102166A
公开(公告)日：2020-12-18
申请号：CN202010871696.0
申请日：2020-08-26
Applicant: 上海交通大学
Abstract: 本发明提供一种联合超分辨率、色域扩展和逆色调映射方法及设备，其中：S1：将高分辨率、高色域和高动态范围的视频帧下转换为低分辨率、低色域和标准动态范围的视频帧，组成训练数据集和测试数据集；S2：基于局部残差学习和全局残差学习设计一个卷积神经网络；S3：使用所述训练数据集不断训练优化所述卷积神经网络，得到能完成联合超分辨率、色域扩展和逆色调映射的卷积神经网络；S4：将所述测试数据集中低分辨率、低色域和标准动态范围的视频帧输入至S3训练后得到的所述卷积神经网络，得到高分辨率、高色域和高动态范围的视频帧。本发明改善了现有方法的伪影问题，提高了主观和客观质量。
-
Patent Agency Ranking
公开(公告)号：CN110717868A
公开(公告)日：2020-01-21
申请号：CN201910840429.4
申请日：2019-09-06
Applicant: 上海交通大学
Abstract: 本发明提供一种视频高动态范围反色调映射模型构建方法，包括：将原始高动态范围视频剪切为多个高动态范围视频，频转化为标准动态范围视频，与高动态范围视频组成有监督的数据集，作为后续的训练数据集；建立基于三维卷积神经网络和跳跃式连接的视频生成网络；对所述视频生成网络建立由空间特征、时域特征、本征特征和感知特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到最终网络模型。本发明还提供了对应的构建装置，以及视频高动态范围反色调映射方法。本发明改善视频闪烁问题，并考虑到高动态范围视频的空间特性，本征特性以及时域特性，更好地实现了对高动态范围视频的反色调映射。
-
公开(公告)号：CN109379550A
公开(公告)日：2019-02-22
申请号：CN201811059317.7
申请日：2018-09-12
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于卷积神经网络的视频帧率上变换方法及系统，该方法包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标卷积神经网络是通过预设的训练数据集训练得到的，所述目标卷积神经网络包括：编码器、解码器以及光流预测层；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。从而可以完成从前后两帧到中间帧的映射，提高原有视频的帧率，更好地完成了视频帧率的上变换。
-
公开(公告)号：CN108924555A
公开(公告)日：2018-11-30
申请号：CN201810418031.7
申请日：2018-05-04
Applicant: 上海交通大学
IPC: H04N19/149 , H04N19/136 , H04N19/167 , H04N19/172 , H04N19/176 , H04N21/845
Abstract: 本发明提供一种适用于视频切片的码率控制比特分配方法，其中：对于输入的视频切片，同时维护两个码率控制算法，即自适应比特率算法(ABR)和恒定比特率算法(CBR)，两个码率控制算法分别为当前编码块提供了指导编码的码率。通过综合两种码率控制算法，并分析当前编码块在切片中的位置，指导当前编码块进行编码。本发明基于视频切片的应用场景，提出了新的基于视频切片的码率控制比特分配方法，该方法考虑在一个视频切片内部，帧间码率可以波动，但是切片与切片之间码率需要保持稳定的特性，充分利用CBR码率控制算法的码率平稳性和ABR码率控制算法的性能优越性，在保持视频切片内部编码性能的同时，控制切片编码码率的精准性。
-
公开(公告)号：CN108012157A
公开(公告)日：2018-05-08
申请号：CN201711207766.7
申请日：2017-11-27
Applicant: 上海交通大学
IPC: H04N19/80 , H04N19/117 , H04N19/625 , H04N19/132 , H04N19/587 , H04N19/503 , G06N3/04
Abstract: 本发明提供一种用于视频编码分数像素插值的卷积神经网络的构建方法，包括：收集不同内容、分辨率的图像，形成包含不同类型、编码复杂度的数据的原始训练数据集；对原始训练数据集进行预处理操作，得到符合视频编码帧间预测分数像素插值特性的训练数据；搭建深度卷积神经网络，得到适用于视频编码帧间预测分数像素插值的卷积神经网络结构；使用预处理得到的数据输入搭建好的卷积神经网络，同时将原始训练数据集作为对应的真值，训练搭建的卷积神经网络。本发明保证了卷积神经网络可顺利训练，且使用训练好的卷积神经网络插值得到的分数像素满足视频编码分数像素插值特性需求，使用本发明进行分数像素插值可实现视频编码效率的提升。
-
公开(公告)号：CN107808389A
公开(公告)日：2018-03-16
申请号：CN201711004135.5
申请日：2017-10-24
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于深度学习的无监督视频分割方法，包括：建立编码解码深度神经网络，编码解码深度神经网络包括：静态图像分割流网络、帧间信息分割流网络以及融合网络；静态图像分割流网络用于对当前视频帧进行前景背景分割处理，帧间信息分割流网络用于对当前视频帧和下一视频帧之间的光流场信息进行运动物体的前景背景分割；将静态图像分割流网络和帧间信息分割流网络输出的分割图像通过融合网络进行融合后，得到视频分割结果。本发明的静态图像分割流网络用于高质量的帧内分割，帧间信息分割流网络用于高质量的光流场信息分割，两路输出通过最后的融合操作得到提升后的分割结果，从而可以根据有效的双路输出和融合操作得到较好的分割结果。
-
-
-
-
-
-
-
-
-
Search Results
168
records
(took 0.024 seconds)
