一种基于注意力机制的视频图像压缩方法

    公开(公告)号:CN118354101A

    公开(公告)日:2024-07-16

    申请号:CN202410448749.6

    申请日:2024-04-15

    Abstract: 本申请公开了一种基于注意力机制的视频图像压缩方法,在DVC基础模型的残差数据编码器之后增加了一个基于Transformer的量化损失恢复模块,用于恢复残差潜在向量因量化操作而受损的部分,第一阶段的学习针对基础模型,获得若干组对应不同失真码率平衡因子值的网络参数集;在第二阶段学习中,对基础模型的每一组参数集学习若干组仅包括量化损失恢复模块的参数集;在第三阶段,对整个量化损失恢复模块和残差数据解码器进行学习。采用本发明提供的基于Transformer的量化损失恢复模块能够有效恢复受损的残差潜在向量,提高残差潜在向量在编码段和解码端的一致性,减少残差信息经压缩和解压后的失真,从而提高图像重建的质量。

    融合可见光和热成像图像的低照度图像增强方法

    公开(公告)号:CN114596205B

    公开(公告)日:2024-04-26

    申请号:CN202210223981.0

    申请日:2022-03-09

    Inventor: 陈卫刚

    Abstract: 本发明公开了一种融合可见光和热成像图像的低照度图像增强方法,属于计算机视觉领域。本发明采用限制对比度的自适应直方图均衡化算法增强可见光图像的对比度,采用伽马变换扩展低灰度区域的对比度,以深度神经网络模型融合热成像图像、可见光图像和上述两种经对比度增强的图像,从而实现了对低照度图像的增强。由实验结果可知,本发明提供的方法通过引入经伽马变换和自适应直方图均衡化的增强图像能有效提升低照度区域的对比度,通过融合热成像图像使得车灯等高光区域能呈现部分细节。

    基于深度卷积神经网络的视频图像道线检测方法

    公开(公告)号:CN112446353B

    公开(公告)日:2023-05-02

    申请号:CN202011471660.X

    申请日:2020-12-14

    Inventor: 陈卫刚

    Abstract: 本发明公开了一种基于深度卷积神经网络的视频图像道线检测方法,该方法假设道线沿着其在图像中的伸展方向能分割成若干个道线块,这些道线块的中间区域包含了道线的标记部分,两侧包含了背景部分,以此假设为基础,采用ResNet50的前四级卷积层组作为特征提取网络,检测出现在图像中道线块。为了检测较小的道线块,对于每帧输入图像,分别将原始图像和宽、高方向都放大为原图像2倍大小的图像输入到同一个神经网络模型,融合两个尺度图像的检测结果作为道线块检测的结果。将道线建模成二次曲线,逐帧地由检测所得的道线块的位置坐标更新以曲线参数表示的道线几何模型。

    基于多分支卷积神经网络的压缩视频超分辨率重建方法

    公开(公告)号:CN113822801A

    公开(公告)日:2021-12-21

    申请号:CN202110718467.X

    申请日:2021-06-28

    Inventor: 陈卫刚 周迪

    Abstract: 本发明公开了一种基于多分支卷积神经网络的压缩视频超分辨率重建方法,对每一帧待处理的图像,以块处理的形式在间隔相近的帧内编码帧中搜索近似块,由近似块形成对应当前待处理图像的预测图像,分别以预测图像和待处理图像作为各个分支网络的输入,且融合这些分支网络的输出作为最终的高分辨率重建结果。本发明提供的采用多分支卷积神经网络的压缩视频超分辨率重建方法能够有效地利用视频序列所存在的帧间冗余信息,特别地,利用压缩视频中的帧内编码帧具有较好视觉质量的特点,从而使得重建的超分辨率图像具有更好的质量。

    一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法

    公开(公告)号:CN111866521A

    公开(公告)日:2020-10-30

    申请号:CN202010657003.8

    申请日:2020-07-09

    Inventor: 陈卫刚 盛浩杰

    Abstract: 本发明公开了一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法,基于运动补偿,以与当前解码帧间隔最小的帧内编码帧为参考图像,采用图像块扫描的形式处理当前解码帧从而形成一幅运动补偿图像;以经预先训练的生成式对抗网络中的生成网络产生一幅预测图像,将当前解码帧图像、运动补偿图像和预测图像堆叠成一个三阶张量作为后续用于图像融合的深度卷积神经网络的输入,由深度卷积神经网络映射产生比当前解码图像具有更好视觉质量的输出图像,即去除压缩伪影后的图像。

    基于级联深度残差网络的视频去噪方法

    公开(公告)号:CN110930327A

    公开(公告)日:2020-03-27

    申请号:CN201911127489.8

    申请日:2019-11-18

    Inventor: 陈卫刚

    Abstract: 本发明公开了一种基于级联深度残差网络的视频去噪方法,该方法可处理亮度或色度分量,以多帧图像为输入,采用两个级联的深度残差网络抑制视频噪声。两个深度残差网络具有相同的结构,按输入样本前向传播时的数据流向,该方法的每级深度残差网络结构依次为输入模块,残差模块和融合模块。对第一级深度残差网络和第二级深度残差网络训练完成后,得到视频图像去噪的模型,将图像序列输入到视频图像去噪模型可对视频进行去燥处理,提高视频图像质量,将其作为编码器的预处理步骤,可有效的提高编码器的性能;或将其作为目标检测器的预处理步骤,则能有效的提高检测器的准确率,降低误检率。

    针对道路图像的灭点自动标定方法

    公开(公告)号:CN107316331A

    公开(公告)日:2017-11-03

    申请号:CN201710651702.X

    申请日:2017-08-02

    Inventor: 陈卫刚

    Abstract: 本发明公开了一种针对道路图像的灭点自动标定方法,包括,读取当前输入图像中的行数据,更新行堆叠图像;对每个行堆叠图像计算垂直方向的像素值累加和,形成一维数组;通过一维数组,进一步计算扫描位置的相似度并进行记录;通过所述相似度构建集合S;对所述集合S的每一个三元组,将图像平面中的点(x,y)映射成xt-xb参数平面的一条直线;寻找极大值的坐标位置,确立交点集合;更新当前输入图像的灭点坐标。通过本发明的方法,能通过简单的图像采集装置采集到的图像进行处理,不需要借助任何工具,就能自动标定灭点在图像中的位置,便捷方便并且标定的灭点位置精度较高,能很好地满足后续应用的要求。

    一种应用于HEVC帧间编码的全零块检测方法

    公开(公告)号:CN104202599A

    公开(公告)日:2014-12-10

    申请号:CN201410489668.7

    申请日:2014-09-23

    Inventor: 陈卫刚 李晓楠

    Abstract: 本发明涉及视频图像处理领域,特别涉及一种应用于HEVC帧间编码的全零块检测方法,包括:(1)根据编码块在帧间预测和补偿后的残差数据经过DCT变换后各个频率位置的DCT系数的分布特性,以及位于背景区域的块经过后续的基于运动检测的去噪滤波后其块内预测误差的绝对值之和将有所减小的特性,在变换块进行实际的DCT变换和量化之前,预判变换块是否是一个全零块;(2)在编码器中嵌入了一个基于运动检测的时间域滤波器,在避免去噪滤波引入运动模糊的前提下,通过在判断全零块的阈值中增加一个大于1的放大因子,减少噪声信号对视频编码的影响,将尽可能多的位于背景区域的块判定为全零块,从而有利于减少编码过程的计算代价、提高编码压缩率。

    去除复合视频解码图像色串的方法和系统

    公开(公告)号:CN102497560A

    公开(公告)日:2012-06-13

    申请号:CN201110403726.6

    申请日:2011-12-02

    Inventor: 陈卫刚

    Abstract: 本发明公开了一种去除复合视频信号在亮色分离过程中所引入的色串噪声的方法和系统,包括:(1)以混合高斯模型对随时间变化的像素色度值的分布建模,跟踪观察色度值与模型的匹配情况,判断色度值是否发生快速、有规律的振荡变化;(2)以匹配标记字记录多帧的匹配信息,由此计算像素色度值的跃变次数;(3)以色度值的跃变次数、对应较大值和较小值的高斯分布的均值之差、紧邻二帧亮度变化、是否存在明显的垂直边缘等为线索判断是否发生色串噪声。本发明所公开的以混合高斯模型建模随时间变化色度值的分布,能很好地捕捉到发生色串时色度值快速交替变化的特征,从而有效且可靠地检测和去除色串噪声、改善视频的视觉质量、避免将编码码流分配给由于色串失真所引入的帧差数据。

    一种噪声强度自适应的视频去噪方法和系统

    公开(公告)号:CN102368821A

    公开(公告)日:2012-03-07

    申请号:CN201110320832.8

    申请日:2011-10-20

    Abstract: 本发明公开了一种嵌入于编码器、基于运动检测、噪声强度自适应的视频数据去噪方法,包括:(1)以邻域内正则化帧差值之和为观察值,将输入像素分为静态像素和动态像素,对于两类不同的像素,采用不同支撑域的滤波器,滤波系数根据噪声强度和图像局部特征自适应地确定;(2)以单个DCT系数或多个DCT系数之和为特征,以AdaBoost为工具构造级联形式的分类器,应用该分类器选取静态块;(3)建立视频噪声强度与静态块的DCT系数分布参数之间联系的函数模型,利用该模型估计噪声信号标准差。本发明所提供的嵌入在视频编码器中的噪声强度估计和降噪技术,能以很少的计算代价获得噪声滤波所需的参数和信息,具有很好的时间效率;由于采用可靠的线索判断像素是否符合静态假设,本发明的滤波器能在有效地滤除噪声的同时保持静态图像的边缘清晰度,并避免在运动区域由于滤波引入的运动模糊。

Patent Agency Ranking