公开(公告)号：CN109996071A

公开(公告)日：2019-07-09

申请号：CN201910240535.9

申请日：2019-03-27

Applicant: 上海交通大学

Inventor： 陈立 ,  蔡春磊 ,  张小云 ,  高志勇 ,  鲁国

IPC: H04N19/124 ,  H04N19/13 ,  H04N19/147

Abstract: 本发明公开了一种基于深度学习的可变码率图像编码系统及方法，包括：正向多尺度分解变换网络模块，将输入原始图像分解为多个尺度的图像特征；量化模块，将图像特征量化成整数；自适应码率分配模块，根据给定的目标码率对量化成整数的图像特征进行块级别的码率分配；熵编解码模块，将进行码率分配后的图像特征编码为二进制码流；同时提供了一种可变码率图像解码系统及方法，用于解码上述编码系统及方法形成的编码。本发明使用深度卷积神经网络构建正反多尺度分解变换，利用大量数据进行训练得到最优模型参数，结合基于图像复杂度的自适应码率分配方法，在实际应用中可实现可变码率图像编解码。

公开(公告)号：CN105407357B

公开(公告)日：2019-07-05

申请号：CN201510885787.9

申请日：2015-12-04

Applicant: 上海交通大学

Inventor： 高志勇 ,  胡强 ,  石志儒 ,  张小云 ,  陈立 ,  王嘉

IPC: H04N19/503 ,  H04N19/51 ,  H04N19/567

Abstract: 本发明提供一种基于聂曼‑皮尔逊准则的SKIP模式快速选择方法，步骤是：将一个预测单元预测模式判定建模为“SKIP模式”和“非SKIP模式”两类的分类问题，采用当前编码单元的SKIP模式的率失真代价作为决策特征，在线统计学习前四帧，针对不同量化参数及不同编码单元深度，通过非参数概率密度估计分别得到最优选为SKIP模式和非SKIP模式时的决策特征的条件概率分布。然后基于在线学习的统计信息，利用聂曼‑皮尔逊判定准则对剩余帧的SKIP模式进行提前判决。基于聂曼‑皮尔逊准则，在限制SKIP模式错判概率的前提下，尽可能多的减少SKIP模式漏判概率，即在保证编码的率失真性能情况下，最大可能的提高编码速度。

公开(公告)号：CN109889839A

公开(公告)日：2019-06-14

申请号：CN201910240106.1

申请日：2019-03-27

Applicant: 上海交通大学

Inventor： 陈立 ,  蔡春磊 ,  张小云 ,  高志勇 ,  鲁国

IPC: H04N19/167 ,  H04N19/146 ,  H04N19/147 ,  H04N19/91 ,  H04N19/182 ,  H04N19/124 ,  H04N19/44 ,  H04N19/33

Abstract: 本发明公开了一种基于深度学习的感兴趣区域图像编码系统及方法，包括感兴趣区域编码网络模块、码率分配模块和熵编码模块。图像输入系统后，感兴趣区域编码网络模块同时对输入图像进行正向多尺度分解变换以及感兴趣区域分割预测，得到图像的多尺度特征和感兴趣区域掩模，再经过码率分配模块为感兴趣区域分配更多的特征，分配后的特征经过量化和熵编码得到二进制码流；同时提供了一种感兴趣区域图像解码系统及方法，用于解码上述编码系统及方法形成的编码。本发明使用深度学习技术构建感兴趣区域编解码网络和熵编解码器，利用大量数据训练得到最优模型参数，在实际应用中可达到显著优于现有感兴趣编码系统的主观和客观的编码性能。

公开(公告)号：CN105991586B

公开(公告)日：2019-04-26

申请号：CN201510080558.X

申请日：2015-02-13

Applicant: 上海交通大学

Inventor： 张文军 ,  徐异凌 ,  孙军 ,  管云峰 ,  张小云 ,  柳宁 ,  陈浩

IPC: H04L29/06

Abstract: 本发明提供了一种异构网络下的多媒体时钟协调同步方法，该方法针对现有多媒体系统和协议缺乏多时钟兼容的机制，造成异构融合网络中无法精确整合不同网络中内容和服务的问题，采用数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，通过增加多媒体时钟协调同步机制实现异构网络下兼容多种网络时钟同步机制，采用统一的封装格式多媒体数据，提供不同时钟的对应关系的信令表，既利于整合多种网络资源，提高异构融合网络下多媒体服务的丰富性和稳定性，也便于多媒体内容的统一管理，减少因时钟同步机制不同而造成的数据重复封装和处理的时间和资源浪费，给用户带来更好的服务体验。

公开(公告)号：CN104320656B

公开(公告)日：2019-01-11

申请号：CN201410603770.5

申请日：2014-10-30

Applicant: 上海交通大学

Inventor： 张小云 ,  胡强 ,  高志勇 ,  陈立

IPC: H04N19/103 ,  H04N19/132 ,  H04N19/147

Abstract: 本发明提供了一种x265编码器中帧间编码模式快速选择方法，该方法首先采用工具软件分析x265编码器中耗时模块或函数，然后针对耗时部分进行具体的优化工作，在保证性能的前提下采用快速算法或者结构调整来达到速度的提升，优化内容包括：SKIP模式的提前检测、以SATD Cost(哈达玛变换后再绝对值求和)代替RD Cost(率失真优化得到的值)作为层内模式选择的标准。对于x265编码器，本发明能够实现高清视频序列实时编码，性能与原来非实时编码相比峰值信噪比下降0.03dB。

公开(公告)号：CN105472389B

公开(公告)日：2018-11-16

申请号：CN201510870385.1

申请日：2015-12-01

Applicant: 上海交通大学

Inventor： 陈立 ,  薛培培 ,  高志勇 ,  张小云 ,  郭勇

IPC: H04N19/42 ,  H04N19/423 ,  H04N19/433 ,  H04N21/426 ,  H04N21/433

Abstract: 本发明提供了一种用于超高清视频处理系统的片外缓存压缩方法，步骤为：压缩：将来自原始视频输入端的视频帧数据和来自处理内核的完成视频处理功能的视频帧数据进行分组，以形成待压缩块，并对每个待压缩块进行块内像素分组、预测、量化、反量化和像素重建、熵编码、码流打包、简化压缩处理以及压缩码流输出控制操作，得到压缩码流，并将压缩码流写到片外缓存中；解压缩：从片外缓存读取压缩码流，经过码流解析、熵解码、反量化、像素形成、简化压缩处理解码以及像素块复原处理后实时解码，形成解压后像素块，并将解压后像素块输出给处理内核和输出显示模块。本发明能大幅降低片外访存带宽，提升系统的数据吞吐率。

公开(公告)号：CN105430391B

公开(公告)日：2018-11-16

申请号：CN201510885775.6

申请日：2015-12-04

Applicant: 上海交通大学

Inventor： 张小云 ,  胡强 ,  石志儒 ,  高志勇 ,  陈立 ,  王嘉

IPC: H04N19/105 ,  H04N19/119 ,  H04N19/147 ,  H04N19/159

Abstract: 本发明提供一种基于逻辑回规分类器的帧内编码单元快速选择方法，所述方法将一个编码单元是否向下划分建模为“向下划分”和“不向下划分”两类的分类问题，采用逻辑回规分类器来解决这个两类分类问题。离线学习三个视频序列得到逻辑回规分类器最优的逻辑回规系数，通过计算多个候选特征的有效性来选择最佳的决策特征。利用离线学习得到的逻辑回规分类器对帧内编码单元进行快速选择，从而跳过其它不必要的预测编码模式计算，能够有效的降低HEVC编码器帧内编码复杂度，有利于实时HEVC编码器的实时应用。

公开(公告)号：CN104918057B

公开(公告)日：2018-07-13

申请号：CN201510233586.0

申请日：2015-05-08

Applicant: 上海交通大学

Inventor： 郭勇 ,  陈立 ,  高志勇 ,  张小云 ,  薛培培

IPC: H04N19/85

Abstract: 本发明提供了一种利用邻域运动信息的运动矢量后处理系统，包括矢量细化和矢量平滑两级流水线结构，各级流水线分别利用邻域运动信息对当前运动进行分解，从而获得更精细、更平滑的运动矢量；其中：矢量细化部分通过检测邻域的遮蔽模式，选用特定位置的邻域矢量对当前块的运动进行1/4分解；矢量平滑部分通过量化邻域细化矢量对当前1/16子块的影响，确定最优的滤波系数，从而进一步分解得到1/16子块的运动矢量。本发明所述的一种利用邻域运动信息的运动矢量后处理系统，仅需少量的存储器、查找表及运算逻辑实现，并可以获得较好的运动矢量处理效果。

公开(公告)号：CN104320668B

公开(公告)日：2017-08-01

申请号：CN201410608208.1

申请日：2014-10-31

Applicant: 上海交通大学

Inventor： 张小云 ,  黎凌宇 ,  高志勇 ,  陈立

IPC: H04N19/625 ,  H04N19/88 ,  H04N19/436

Abstract: 本发明提供了一种HEVC/H.265的DCT变换和反变换的SIMD优化方法，首先对输入数据进行预处理，将数据从内存装载进寄存器，视为数据矢量，对矢量数据进行交织和重新排列组合，对于垂直方向的DCT变换，将数据进行右移舍入以适应有限的寄存器位宽，提高计算并行度；然后对预处理后的数据进行蝶形运算，逐级计算对应数据的和差；而后执行点乘运算，计算蝶形运算得到的中间值和相应的变换系数乘积的和，得到输入数据和变换矩阵的乘积；最后，对矩阵乘积结果进行舍入计算，满足输出数据的位宽限定并输出。本发明在Tilera平台上能够有效加速HEVC/H.265视频编码器的DCT变换反变换模块，获得较好的加速优化效果。

公开(公告)号：CN106372636A

公开(公告)日：2017-02-01

申请号：CN201610729077.1

申请日：2016-08-25

Applicant: 上海交通大学

Inventor： 阳兵 ,  高志勇 ,  张小云 ,  陈立

IPC: G06K9/32 ,  G06K9/34 ,  G06K9/46

Abstract: 本发明公开了一种基于HOG_TOP的视频显著性检测方法，其包括以下步骤：步骤一：将原始视频在三个正交的平面XY、XT、YT计算得到HOG_TOP特征；步骤二：在XY平面通过计算中央-周围原则得到空域显著性图SS；步骤三：分别在XT，YT平面通过中央-周围原则计算得到时域显著性图SXT和SYT；步骤四：自适应的融合XT和YT方向的显著性图得到最终的时域显著性图ST；步骤五：自适应的融合SS和ST得到最终的显著性值SF。本发明提供的方法通过利用HOG_TOP特征，在XY，XT，YT三个平面分别利用中心—周围原则去计算得到显著性图，能够更好地取得时间轴的预测信息，从而能够得到高质量的显著性图。