公开(公告)号：CN117692647A

公开(公告)日：2024-03-12

申请号：CN202311687475.8

申请日：2023-12-09

Applicant: 南京大学

Inventor： 陆明 ,  马展

IPC: H04N19/149 ,  H04N19/30 ,  H04N19/423 ,  H04N19/88 ,  G06T9/00

Abstract: 本发明公开了一种基于深度层级条件概率预测的视频编码方法。该方法的步骤如下：获取待处理视频图像帧；将图像帧输入到特征提取网络提取多尺度特征；获取待处理图像帧的多尺度参考隐特征，所述多尺度参考隐特征由对应参考帧解码时存放在缓存中；使用层级条件概率预测方式对当前帧从低尺度到高尺度进行层级编码和解码，对解码后的特征进行特征重建得到最后的恢复图像帧。本发明的方法可以提高视频重建质量和压缩效率，相比现有最好的基于条件概率预测的视频编码方法可以在同等质量下节约10％以上的码率。

公开(公告)号：CN116634162A

公开(公告)日：2023-08-22

申请号：CN202310390087.7

申请日：2023-04-13

Applicant: 南京大学

Inventor： 马展 ,  石峻奇 ,  陆明

IPC: H04N19/42 ,  H04N19/147 ,  H04N19/124 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种率失真优化的图像压缩神经网络训练后量化方法。该方法步骤如下：获取高清图像数据集，构建训练集、测试集和交叉验证集；建立与浮点模型对应的量化模型，并初始化量化参数；构建图像压缩神经网络，逐层优化量化模型，对于当前层的优化，分为前向传播和反向传播两个过程：在前向传播中，计算当前层的量化损失和整个模型的率失真损失，加权作为损失函数；在反向传播中，通过梯度下降法优化该层权重、偏置、激活值的量化参数和权重、偏置的舍入方式；直到量化模型所有层优化完毕，得到最终的量化模型和量化参数。本发明的量化方法，与32比特的浮点模型在大量测试图像上的同等比较中，可以在保持性能的情况下减少75％的内存占用。

公开(公告)号：CN114494472A

公开(公告)日：2022-05-13

申请号：CN202111676530.4

申请日：2021-12-31

Applicant: 江苏龙源振华海洋工程有限公司 ,  南京大学

Inventor： 曹春潼 ,  施惠庆 ,  陆明 ,  马展

IPC: G06T9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于深度自注意力变换网络的图像压缩方法。该方法的具体步骤如下：S1，收集和整理规范的高清图像数据集，构建神经网络训练集、测试集和交叉验证集；S2，建立多层基于深度自注意力变换的神经网络，神经网络包括编码网络和解码网络，在编码网络和解码网络中均加入深度自注意力变换模块用于特征信息聚合；训练编码网络和解码网络；S3，将图像输入编码网络得到输出数据经过量化和熵编码得到压缩的码流；S4，通过与编码网络对称的解码网络重建恢复出压缩后的图像。本发明的图像压缩方法，与传统图像压缩方法BPG在大量测试图像上的同等比较中，可以在相同质量上平均节省20％左右的码率。