-
公开(公告)号:CN110717868B
公开(公告)日:2022-05-03
申请号:CN201910840429.4
申请日:2019-09-06
Applicant: 上海交通大学
Abstract: 本发明提供一种视频高动态范围反色调映射模型构建方法,包括:将原始高动态范围视频剪切为多个高动态范围视频,频转化为标准动态范围视频,与高动态范围视频组成有监督的数据集,作为后续的训练数据集;建立基于三维卷积神经网络和跳跃式连接的视频生成网络;对所述视频生成网络建立由空间特征、时域特征、本征特征和感知特征综合的目标损失函数,采用所述训练数据集不断训练优化,得到最终网络模型。本发明还提供了对应的构建装置,以及视频高动态范围反色调映射方法。本发明改善视频闪烁问题,并考虑到高动态范围视频的空间特性,本征特性以及时域特性,更好地实现了对高动态范围视频的反色调映射。
-
公开(公告)号:CN113947018A
公开(公告)日:2022-01-18
申请号:CN202111211621.0
申请日:2021-10-18
Applicant: 上海交通大学
IPC: G06F30/27 , G06F111/06
Abstract: 本发明提供了一种基于强化学习的多目标优化方法及系统,包括如下步骤:步骤S1:基于强化学习对多目标优化,获得优化的帕累托前沿及对应的优化的帕累托解集;步骤S2:根据需求应用优化的帕累托前沿与对应的优化的帕累托解集。本发明基于强化学习技术,将多目标优化问题中的每个目标利用强化学习算法取得针对该目标的子策略,并将所有子策略和当前策略综合得到新策略,经过迭代可以获得该多目标优化问题的更好的帕累托最优前沿及对应的帕累托最优解集。
-
公开(公告)号:CN113747184A
公开(公告)日:2021-12-03
申请号:CN202110884855.5
申请日:2021-08-03
Applicant: 上海交通大学
IPC: H04N21/2187 , H04N21/2343 , H04N21/433 , H04N21/845 , H04L29/06 , H04L29/08
Abstract: 本发明公开一种基于缓冲区位移的低延迟比特率自适应方法、设备及介质,包括:获取视频实时的缓冲区大小;依次采用值滤波器和滑动平均滤波器,实时在窗口内对历史缓冲区大小进行滤波,以平滑缓冲区历史值的瞬态变化;根据实时缓冲区位移和一个比特率的概率分布设计效用函数;根据所述效用函数将比特率适应工程转化为在线凸优化问题,通过梯度上升方法最大化效用函数从而更新比特率的概率分布,可以用于实现低延迟HTTP流媒体的自适应。与传统的基于缓冲区的ABR将绝对缓冲区长度作为输入不同,本发明跟踪实时缓冲区动态,根据实时缓冲区位移,做出比特率决策,平均比特率有明显提高,平均比特率切换次数有明显减少,且具有较好鲁棒性。
-
公开(公告)号:CN113642409A
公开(公告)日:2021-11-12
申请号:CN202110802113.3
申请日:2021-07-15
Applicant: 上海交通大学
Abstract: 本发明提供了一种人脸匿名化系统及方法、终端,方法包括:训练人脸匿名化网络,人脸匿名化网络包括身份编码器、编解码器和特征融合网络,身份编码器、编解码器分别获取原始人脸图像的高级身份特征代表、多级属性特征代表;特征融合网络将高级身份特征代表与多级属性特征代表进行特征融合,得到原始人脸图像的恢复图像;特征融合经过训练,能实现高级身份特征代表与多级属性特征代表的良好解纠缠;设计差分隐私机制,生成待处理人脸图像的被混淆的身份特征代表;将待处理人脸图像的被混淆的身份特征代表与身份特征代表输入训练好的特征融合网络,生成匿名化的人脸。本发明能实现高质量的人脸匿名化。
-
公开(公告)号:CN111970511A
公开(公告)日:2020-11-20
申请号:CN202010703001.8
申请日:2020-07-21
Applicant: 上海交通大学
IPC: H04N19/147 , G06N20/00
Abstract: 本发明公开一种基于VMAF的感知视频率失真编码优化方法,其中,在编码单元被编码前,计算编码单元与前一帧的像素差异并进行归一化,得到时域内容因子;在编码单元被编码前,计算编码单元的亮度、对比度、纹理并进行归一化,根据加权系数得到空域内容因子;根据得到所述时域内容因子和所述空域感知因子,拟合得到编码单元对于整体帧图像的VMAF分数的影响因子;使用所述VMAF影响因子,修改编码过程中的率失真优化的拉格朗日因子,得到最终的编码方案。同时,本发明还公开了对应的装置。本发明避免了基于机器学习的质量指标VMAF在编码过程中的高复杂度问题,在保持相同的时间复杂度情况下提升编码性能。
-
公开(公告)号:CN111476241A
公开(公告)日:2020-07-31
申请号:CN202010143086.9
申请日:2020-03-04
Applicant: 上海交通大学
Abstract: 本发明公开了一种人物服饰转换方法及系统,该方法包括:根据输入语句,对原图的原始分割图进行相应的形状变化,将原始分割图转换成目标分割图;利用第二级生成对抗网络处理合成问题:将目标分割图作为语义引导和形状限制条件,连同输入语句一起训练生成器学习从原图到目标图片的多域映射,以合成目标图片,完成人物服饰转换;第二级生成网络融合了:采用软注意力层强化目标图片与输入语句的关联性;采用自注意力层显式地捕捉图像上的远距离相关性;采用风格化注意力层通过逐通道内积以及特征图再校准,来建立特征之间的依赖关系。本发明的人物服饰转换方法及系统,融合了三种注意力层,实现了高质量服饰生成。
-
公开(公告)号:CN108012157B
公开(公告)日:2020-02-04
申请号:CN201711207766.7
申请日:2017-11-27
Applicant: 上海交通大学
IPC: H04N19/80 , H04N19/117 , H04N19/625 , H04N19/132 , H04N19/587 , H04N19/503 , G06N3/04
Abstract: 本发明提供一种用于视频编码分数像素插值的卷积神经网络的构建方法,包括:收集不同内容、分辨率的图像,形成包含不同类型、编码复杂度的数据的原始训练数据集;对原始训练数据集进行预处理操作,得到符合视频编码帧间预测分数像素插值特性的训练数据;搭建深度卷积神经网络,得到适用于视频编码帧间预测分数像素插值的卷积神经网络结构;使用预处理得到的数据输入搭建好的卷积神经网络,同时将原始训练数据集作为对应的真值,训练搭建的卷积神经网络。本发明保证了卷积神经网络可顺利训练,且使用训练好的卷积神经网络插值得到的分数像素满足视频编码分数像素插值特性需求,使用本发明进行分数像素插值可实现视频编码效率的提升。
-
公开(公告)号:CN109068174B
公开(公告)日:2019-12-27
申请号:CN201811059369.4
申请日:2018-09-12
Applicant: 上海交通大学
IPC: H04N21/4402 , G06N3/04
Abstract: 本发明提供了一种基于循环卷积神经网络的视频帧率上变换方法及系统,该方法包括:接收发送端传输的初始视频;将所述初始视频划分为包含连续两帧图像的多组图像块;将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入,合成所述连续两帧图像对应的中间帧图像;其中,所述目标循环卷积神经网络是通过预设的训练数据集训练得到的;将所述中间帧图像插入所述图像块内,得到视频帧率上变换后的目标视频。从而可以完成从前后两帧到中间帧的映射,提高原有视频的帧率,更好地完成了视频帧率的上变换。
-
公开(公告)号:CN108924555B
公开(公告)日:2019-12-27
申请号:CN201810418031.7
申请日:2018-05-04
Applicant: 上海交通大学
IPC: H04N19/149 , H04N19/136 , H04N19/167 , H04N19/172 , H04N19/176 , H04N21/845
Abstract: 本发明提供一种适用于视频切片的码率控制比特分配方法,其中:对于输入的视频切片,同时维护两个码率控制算法,即自适应比特率算法(ABR)和恒定比特率算法(CBR),两个码率控制算法分别为当前编码块提供了指导编码的码率。通过综合两种码率控制算法,并分析当前编码块在切片中的位置,指导当前编码块进行编码。本发明基于视频切片的应用场景,提出了新的基于视频切片的码率控制比特分配方法,该方法考虑在一个视频切片内部,帧间码率可以波动,但是切片与切片之间码率需要保持稳定的特性,充分利用CBR码率控制算法的码率平稳性和ABR码率控制算法的性能优越性,在保持视频切片内部编码性能的同时,控制切片编码码率的精准性。
-
公开(公告)号:CN105120282B
公开(公告)日:2018-08-31
申请号:CN201510483514.1
申请日:2015-08-07
Applicant: 上海交通大学
IPC: H04N19/147 , H04N19/19
Abstract: 本发明提供一种时域依赖的码率控制比特分配方法,其中:预先读取当前编码帧的后续多帧,构造时域传播链;根据预设量化参数和前一帧各个编码单元的失真情况,获取时域传播链上各帧的运动补偿预测误差估计和失真估计等信息;根据时域传播链的各帧信息,获取当前编码帧各个编码单元的时域传播因子;根据时域传播因子和编码单元复杂度分配各个编码单元的目标比特;根据目标比特设定合适的拉格朗日乘子,实现码率控制功能。本发明考虑了后续多帧的时域相关性对当前编码帧的指导作用,因而能够获取整个编码序列的全局最优。
-
-
-
-
-
-
-
-
-