基于深度自注意力变换网络的图像压缩方法

    公开(公告)号:CN114494472A

    公开(公告)日:2022-05-13

    申请号:CN202111676530.4

    申请日:2021-12-31

    IPC分类号: G06T9/00 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于深度自注意力变换网络的图像压缩方法。该方法的具体步骤如下:S1,收集和整理规范的高清图像数据集,构建神经网络训练集、测试集和交叉验证集;S2,建立多层基于深度自注意力变换的神经网络,神经网络包括编码网络和解码网络,在编码网络和解码网络中均加入深度自注意力变换模块用于特征信息聚合;训练编码网络和解码网络;S3,将图像输入编码网络得到输出数据经过量化和熵编码得到压缩的码流;S4,通过与编码网络对称的解码网络重建恢复出压缩后的图像。本发明的图像压缩方法,与传统图像压缩方法BPG在大量测试图像上的同等比较中,可以在相同质量上平均节省20%左右的码率。

    一种实时视频通信的主观质量评价方法

    公开(公告)号:CN114401364A

    公开(公告)日:2022-04-26

    申请号:CN202111679772.9

    申请日:2021-12-31

    IPC分类号: H04N5/232 H04L65/65 H04L65/80

    摘要: 本发明提供了一种实时视频通信的主观质量评价方法。该方法的步骤包括:采集用户生成内容视频,根据不同维度的感知信息对视频进行均匀采样;根据带宽的平均值和标准差对网络轨迹进行筛选,以涵盖不同的网络状况;基于实时通信测试平台,在不同网络环境下传输源视频,模拟不同的编码损伤和传输损伤;实时录制发送端和接收端的视频画面,并记录视频的网络损失情况,构建实时视频通信的数据集;在不同终端上展示录制的视频,便于受试者从视频的清晰度、流畅度、交互时延等角度给视觉质量打分。本发明的方法使用真实的网络轨迹来模拟实时视频通信的网络传输条件,避免人造失真视频的单一性和片面性,为质量建模提供有力的数据支撑。

    基于块搜索和可变位数残差的相似图像JPEG无损重压缩方法

    公开(公告)号:CN117857794A

    公开(公告)日:2024-04-09

    申请号:CN202410038401.X

    申请日:2024-01-11

    申请人: 南京大学

    发明人: 马展 沙宏伟 陆明

    摘要: 本发明公开了一种基于块搜索和可变位数残差的相似图像JPEG无损重压缩方法,步骤如下:部分解析JPEG参数;在两张JPEG的未反量化的频域系数进行块级别的搜索,搜索策略为计算绝对差值和;记录与当前块容忍度限制下的最小绝对差值和的块的索引;对索引进行差分得到方向向量;根据方向向量为0的比例判断两张图像是否相似,若不相似则使用Brunsli算法进行单张JPEG的无损重压缩,若相似,则使用Brunsli算法压缩每一个当前块和参考块的前N位残差和后64‑N位的原频域系数,并添加标志位,方向向量则经过比特位压缩后再使用Brotli算法压缩;解码端根据标志位进行相应的解码操作。本发明的无损JPEG压缩方法相较于已有重压缩方法能进一步压缩17%。

    一种基于块级别的智能图像压缩快速码率控制方法

    公开(公告)号:CN117834883A

    公开(公告)日:2024-04-05

    申请号:CN202410001561.7

    申请日:2024-01-02

    申请人: 南京大学

    发明人: 马展 董沐晨 陆明

    摘要: 本发明公开了一种基于块级别的智能图像压缩快速码率控制方法。该方法包括如下步骤:S1,将输入的图片切分为不重叠的大小相同的块;S2,采样部分图像块;S3,对采样的图像块均编解码两次,根据编解码结果推导出图像块码率R和质量因子λ的关系,以及图像块失真D和质量因子λ的关系;S4,计算每一个图像块的平均图像梯度;S5,使用线性关系拟合每一个被采样的图像块的平均图像梯度与R‑λ关系以及D‑λ关系的系数;S6,预测出未被采样的块的R‑λ关系以及D‑λ关系;S7,根据每一个块的R‑λ关系以及D‑λ关系对图像进行码率控制。本发明相比其他码率控制方法,拥有更准确的码率控制精准度,更快的速度和更低的内存消耗。

    一种基于光谱嵌入的高光谱图像压缩方法

    公开(公告)号:CN117714706A

    公开(公告)日:2024-03-15

    申请号:CN202311623403.7

    申请日:2023-11-30

    申请人: 南京大学

    IPC分类号: H04N19/42 G06T9/00

    摘要: 本发明公开了一种基于光谱嵌入的高光谱图像压缩方法。步骤如下:收集静态高光谱图像数据集;提取图像的光谱通道索引序列;对光谱通道索引序列进行数据的归一化处理,得到包含图像的光谱相关性的序列;建立一种基于光谱嵌入的高光谱图像编解码网络;使用处理后的序列数据训练编解码网络;得到图像对应的光谱嵌入及训练好的解码网络;解码端将所需图像的光谱嵌入输入解码网络进行预测推理。本发明可以在相同的码率下提供效果更佳的重建效果,显著优于现有的学习方法,并且可与最新的传统编解码器相媲美。同时本发明的高光谱图像压缩方法是轻量级的,在编码过程中表现出更快的模型收敛,在推理中表现出更快速的解码。

    一种轻量级的有损图像编码方法
    8.
    发明公开

    公开(公告)号:CN117395412A

    公开(公告)日:2024-01-12

    申请号:CN202311319421.6

    申请日:2023-10-12

    申请人: 南京大学

    摘要: 本发明公开了一种轻量级的有损图像编码方法。该方法包括如下步骤:S1,将输入的图片切分为大小相同的块;S2,对于每一个块,首先根据当前块的每一个像素值计算其哈希值,每一个块的哈希值均会被记录起来,随后将当前块哈希值与之前每一个块的哈希值进行比较,并根据哈希值比较结果判断该块是否与已编码的块相似;S3,如果已编码的块中有当前块的相似块,不对当前块进行编码,直接将与当前块相似的已编码的块拷贝过来,如果没有,则对当前块进行有损编码。本发明的方法在计算能力较差的设备上与JPEG这一传统图像编解码方法在大量测试图片中进行比较中,拥有更高效的压缩效率,更快的解码时间和更低的能量消耗。

    一种面向低码率图像压缩的生成式残差修复方法及装置

    公开(公告)号:CN116939226A

    公开(公告)日:2023-10-24

    申请号:CN202310702149.3

    申请日:2023-06-14

    申请人: 南京大学

    发明人: 马展 孔玉卓 陆明

    摘要: 本发明提出一种面向低码率图像压缩的生成式残差修复方法及装置。该方法包括以下步骤:S1,通过一个端到端的智能图像编码系统得到在低码率时平滑且缺失高频信息的压缩图像;S2,使用生成式残差修复网络对压缩图像与原始图像的残差进行编码,并将解码得到的残差加回到压缩图像上得到重建图像;S3,引入判别器,使用生成对抗网络损失函数对生成式残差修复网络进行优化。本发明实现了更好的主观质量效果。

    基于多智能体强化学习的短视频码率自适应传输方法

    公开(公告)号:CN116506626A

    公开(公告)日:2023-07-28

    申请号:CN202310418129.3

    申请日:2023-04-19

    申请人: 南京大学

    摘要: 本发明提供一种基于多智能体强化学习的短视频码率自适应传输方法,步骤为:(1)每条短视频划分为视频块,视频块被编码为多个码率等级副本存在于内容分发节点;(2)向内容分发节点请求预缓存视频块,维护本地缓冲区;(3)滚动屏幕时清除上一个视频已下载但未播放的部分,视频队列中第二个视频开始播放;(4)缓冲区管理智能体选择休眠或预缓存的视频标识;(5)码率自适应智能体预缓存视频,确定下一个视频块的码率等级;(6)用户客户端将视频标识及其码率等级的请求提交给内容分发节点;(7)重复上述步骤,直至本地短视频会话结束。本发明训练过程采用模仿学习预训练,多智能体强化学习微调的方法进行码率决策,大大提升训练速度。