-
公开(公告)号:CN114584780A
公开(公告)日:2022-06-03
申请号:CN202210203902.X
申请日:2022-03-03
Applicant: 上海交通大学
IPC: H04N19/19 , H04N19/192 , H04N19/147 , H04N19/146 , G06T9/00 , G06N3/08 , G06N3/04 , G06F17/18
Abstract: 本发明公开一种基于深度高斯过程回归的图像编码方法,包括:采用编码卷积神经网络得到待编码图像的瓶颈层多通道特征,作为第一特征图;将第一特征图中的每个特征量化为整数,得到第二特征图;基于深度高斯过程回归的自回归模型和超先验模型,对第二特征图的每一个通道,加权组合多个高斯分布的混合高斯分布编码特征,生成特征二进制码流;将超先验模型得到的超先验信息编码为超先验二进制码流;合并超先验二进制码流与特征二进制码流,得到压缩图像的二进制码流。采用非参数化的深度高斯过程回归方法进行自回归建模,将深度高斯过程回归输出的后验分布作为混合高斯模型的均值,可以灵活地获得均值估计的不确定性,从而得到更准确的均值估计。
-
公开(公告)号:CN111131834A
公开(公告)日:2020-05-08
申请号:CN201911391009.9
申请日:2019-12-30
Applicant: 上海交通大学
IPC: H04N19/42 , H04N19/426 , H04N19/124 , H04N19/13 , G06N3/04
Abstract: 本发明提供一种可逆自编码器、编解码方法以及图像压缩方法、装置,其中可逆自编码器包括:编码信号分离模块、级联可逆编码模块、编码信号合成模块、解码信号分离模块、级联可逆解码模块、解码信号合成模块,其中:信号分离模块对输入图像进行分离、并生成两路信号,级联可逆编码模块和级联可逆解码模块对两路信号进行处理,信号合成模块对处理后的两路信号进行合成。本发明涉及了可逆自编码器的同事,还提供了其应用于图像压缩的方法,该方法与基准神经网络相比,在达到相同压缩效果的前提下可以减少一半的参数量与计算量。
-
公开(公告)号:CN119324993A
公开(公告)日:2025-01-17
申请号:CN202411351185.0
申请日:2024-09-26
Applicant: 上海交通大学
IPC: H04N19/42 , G06N3/0455 , G06N3/08 , G06N3/0464 , G06F17/16 , G06F17/18 , G06T7/11
Abstract: 本公开提供一种图像压缩网络及及图像编码方法、解码方法、压缩方法,其中,图像压缩网络包括:编码网络、解码网络和熵模型;编码网络包括主编码网络和旁路编码网络,编码网络用于对待压缩图像编码,旁路编码网络采用正交线性约束;解码网络包括主解码网络和旁路解码网络,主解码网络和旁路解码网络并联连接,解码网络用于对压缩图像二进制码流进行解码,旁路解码网络采用正交线性约束;熵模型用于预测高斯分布的均值和方差。通过本公开,在图像压缩网络中引入旁路编码网络和旁路解码网络,高效减少端到端图像压缩网络的训练时间,在降低图像压缩码率开销的同时,提高重建图像的质量。
-
公开(公告)号:CN114584780B
公开(公告)日:2025-01-17
申请号:CN202210203902.X
申请日:2022-03-03
Applicant: 上海交通大学
IPC: H04N19/19 , H04N19/192 , H04N19/147 , H04N19/146 , G06T9/00 , G06N3/084 , G06N3/0464 , G06F17/18
Abstract: 本发明公开一种基于深度高斯过程回归的图像编码方法,包括:采用编码卷积神经网络得到待编码图像的瓶颈层多通道特征,作为第一特征图;将第一特征图中的每个特征量化为整数,得到第二特征图;基于深度高斯过程回归的自回归模型和超先验模型,对第二特征图的每一个通道,加权组合多个高斯分布的混合高斯分布编码特征,生成特征二进制码流;将超先验模型得到的超先验信息编码为超先验二进制码流;合并超先验二进制码流与特征二进制码流,得到压缩图像的二进制码流。采用非参数化的深度高斯过程回归方法进行自回归建模,将深度高斯过程回归输出的后验分布作为混合高斯模型的均值,可以灵活地获得均值估计的不确定性,从而得到更准确的均值估计。
-
公开(公告)号:CN119180874A
公开(公告)日:2024-12-24
申请号:CN202411211529.8
申请日:2024-08-30
Applicant: 上海交通大学
IPC: G06T9/00 , H04N1/41 , H04N19/91 , G06N3/0464 , G06N3/0455
Abstract: 本发明提供一种面向机器和人类视觉的图像编码、解码方法及压缩方法,其主要过程是:获得待编码图像的第一特征图和第二特征,获得第一特征图的超先验信息;获得待编码图像在不同机器视觉任务下的量化步长并量化得到对应特征图;将上述特征图建模为高斯分布,通过熵模型预测对应的均值和方差;根据每层特征图的分布和概率逐层进行编码得到特征图二进制码流;合并超先验信息二进制码流和特征图二进制码流,得到压缩图像二进制码率。本发明自适应调整特征图量化的量化步长,形成针对人类视觉和不同机器视觉任务的传输特征码流,可以更高效地利用特征图中的信息,减小传输码率的同时,保证机器视觉任务的性能,同时均衡面向人类视觉的率失真性能。
-
公开(公告)号:CN113645487B
公开(公告)日:2022-05-17
申请号:CN202110796984.9
申请日:2021-07-14
Applicant: 上海交通大学
IPC: H04N21/24 , H04N21/2662 , H04N21/6379 , G06F17/18 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种网络吞吐量预测方法及码率自适应分配方法,包括:构建输入为待下载视频切片的前多个视频切片下载时间段内的网络吞吐量数据、输出为未来短期网络吞吐量预测统计分布的贝叶斯神经网络;构建超参神经网络,拟合贝叶斯神经网络的参数的统计分布;构建网络吞吐量数据集;利用网络吞吐量数据集对超参神经网络进行参数迭代更新,得到最优的超参神经网络的参数模型,以计算贝叶斯神经网络的参数分布,通过对贝叶斯神经网络的参数进行蒙特卡洛采样,计算出未来短期的网络吞吐量的统计分布平均值以及预测不确定度。通过本发明,提高了网络视频流传输的带宽利用率和鲁棒性,为用户提供了更好的视频服务质量。
-
公开(公告)号:CN114501013A
公开(公告)日:2022-05-13
申请号:CN202210042520.3
申请日:2022-01-14
Applicant: 上海交通大学
IPC: H04N19/146 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/31 , H04N19/91 , G06T9/00 , G06V20/40 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供可变码率视频压缩方法、系统、装置及存储介质,包括:将参考帧图像通过卷积神经网络,得到参考帧的第一特征图,通过尺度缩放及可导量化得到参考帧的第二特征图,并进行逆缩放,得到重构的参考帧。将预测帧图像通过卷积神经网络,得到预测帧的第一特征图,通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减,得到特征图残差;利用参考帧的第二特征图作为先验信息,对特征图残差进行无损熵编码,并传输至解码端;将特征图残差与参考帧的第二特征图相加并逆缩放后,通过卷积神经网络得到重构的预测帧。本发明利用尺度因子将特征图进行尺度缩放,从而得到不同码率质量对应的特征图。
-
公开(公告)号:CN113645487A
公开(公告)日:2021-11-12
申请号:CN202110796984.9
申请日:2021-07-14
Applicant: 上海交通大学
IPC: H04N21/24 , H04N21/2662 , H04N21/6379 , G06F17/18 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种网络吞吐量预测方法及码率自适应分配方法,包括:构建输入为待下载视频切片的前多个视频切片下载时间段内的网络吞吐量数据、输出为未来短期网络吞吐量预测统计分布的贝叶斯神经网络;构建超参神经网络,拟合贝叶斯神经网络的参数的统计分布;构建网络吞吐量数据集;利用网络吞吐量数据集对超参神经网络进行参数迭代更新,得到最优的超参神经网络的参数模型,以计算贝叶斯神经网络的参数分布,通过对贝叶斯神经网络的参数进行蒙特卡洛采样,计算出未来短期的网络吞吐量的统计分布平均值以及预测不确定度。通过本发明,提高了网络视频流传输的带宽利用率和鲁棒性,为用户提供了更好的视频服务质量。
-
公开(公告)号:CN111131834B
公开(公告)日:2021-07-06
申请号:CN201911391009.9
申请日:2019-12-30
Applicant: 上海交通大学
IPC: H04N19/42 , H04N19/426 , H04N19/124 , H04N19/13 , G06N3/04
Abstract: 本发明提供一种可逆自编码器、编解码方法以及图像压缩方法、装置,其中可逆自编码器包括:编码信号分离模块、级联可逆编码模块、编码信号合成模块、解码信号分离模块、级联可逆解码模块、解码信号合成模块,其中:信号分离模块对输入图像进行分离、并生成两路信号,级联可逆编码模块和级联可逆解码模块对两路信号进行处理,信号合成模块对处理后的两路信号进行合成。本发明涉及了可逆自编码器的同事,还提供了其应用于图像压缩的方法,该方法与基准神经网络相比,在达到相同压缩效果的前提下可以减少一半的参数量与计算量。
-
公开(公告)号:CN114862712B
公开(公告)日:2025-04-29
申请号:CN202210474083.2
申请日:2022-04-29
Applicant: 上海交通大学
Abstract: 本发明提供一种视频染色方法,包括:使用神经网络从参考帧与目标帧的灰度信息中提取多层特征图;基于所述多层特征图进行光流预测和光流优化;利用光流优化获得的结果将所述参考帧中的颜色传播到所述目标帧上。本发明改善了光流长时预测的准确率,所生成的彩色视频帧保真度更优、色彩更加准确,具有极强的实际应用价值。应用在视频编码任务上,可以在保持重构质量的前提下达到减少码率的效果。
-
-
-
-
-
-
-
-
-