公开(公告)号：CN119254976A

公开(公告)日：2025-01-03

申请号：CN202411313425.8

申请日：2024-09-20

Applicant: 同济大学

Inventor： 王瀚漓 ,  唐梽森

IPC: H04N19/176 ,  H04N19/124 ,  H04N19/91 ,  H04N19/593 ,  H04N19/85 ,  H04N19/61 ,  H04N19/42 ,  G06T9/00

Abstract: 本发明涉及一种基于自监督学习的机器视觉编码方法和系统，方法包括以下步骤：将图像信息随机采样成子块，输入骨干网络头部提取和变换特征通道，得到第一特征；变换第一特征得到低维空间的特征，通过量化器对低维空间的特征增加均匀噪声得到量化后的特征，重建压缩特征得到第二特征；将第二特征变换至低维空间，再通过量化器增加均匀噪声降低冗余，提取和编码得到边信息，解码边信息之后采用混合高斯熵模型预测第二特征的概率分布参数以及码率，重建出编码特征的维度，为第三特征；提取和变换第三特征的维度，提取卷积特征加权为热力图，通过热力图得到有效正样本，得到编码结果。与现有技术相比，本发明具有编码复杂度低、语义可靠性高等优点。

公开(公告)号：CN115512199A

公开(公告)日：2022-12-23

申请号：CN202211071956.1

申请日：2022-09-01

Applicant: 同济大学

Inventor： 王瀚漓 ,  唐梽森

IPC: G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 基于图注意和非对称卷积网络的图像压缩模型，主编码器：在数据集中，给定经数据增强和被裁剪后大小为256×256的图像作为输入x；接着使用卷积神经网络变换输入图像的通道，再将卷积神经网络的输出依次通过非对称卷积网络、下采样因子为2的下采样网络和信息流动注意力网络进行特征提取和采样；量化器Q：量化器旨在解决训练过程中不可微导致梯度无法反传的问题；超先验编码器：其目的是为了提取主编码器输出特征y的边信息z，以进一步捕捉冗余信息；超先验解码器：其目的是对算数解码AD后的边信息解码，以便预测量化后的特征的分布参9数；熵模型：其目的是估计的概率分布参数以计算码率；主解码器：其目的是为了对进行解码，重建出解码图像。