基于深度学习神经网络的环路滤波方法

    公开(公告)号:CN112019854B

    公开(公告)日:2023-01-17

    申请号:CN201910450808.2

    申请日:2019-05-28

    Applicant: 北京大学

    Abstract: 本发明为一种基于深度学习神经网络的环路滤波方法,利用了视频编码中块划分树的信息,进一步提升视频恢复质量。与传统的视频编码器内采用了手工设计的去块效应模块以及样点自适应补偿模块不同,本发明利用了深度卷积神经网络在大量训练数据集上进行学习,从而更准确地学习到从低质量视频到高质量视频的非线性映射。本发明为块与块间增加了连接,从而可以传递未被压缩的特征信息。此外,本发明还利用了视频编码器提供的块划分树中的多层块划分信息,生成多层编码单元均值图,进一步辅助神经网络更好地消除块效应。

    一种人机协同的视频编码方法及视频编码系统

    公开(公告)号:CN113132732B

    公开(公告)日:2022-07-29

    申请号:CN201911408329.0

    申请日:2019-12-31

    Applicant: 北京大学

    Abstract: 本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为:1)对于一段待编码视频以及对应的关键点序列,编码器首先对关键点序列进行编码压缩,形成关键点序列码流;然后从待编码视频中选取一帧并编码,作为参考帧,形成参考帧码流;根据关键点序列和参考帧生成一预测视频;2)降低该待编码视频的分辨率;计算该真实低分率视频与预测视频信号之间的残差,根据各帧的残差组成一残差视频序列并将其编码成残差码流;3)编码器根据需求将码流选择性的传输到解码器;如果为机器视觉任务,则根据关键点码流重建得到关键点序列;如果需要重建视频序列,则根据三码流重建得到原分辨率视频。本发明根据应用需求,提供可伸缩的视频编码。

    图像修补方法和图像修补装置

    公开(公告)号:CN106651776B

    公开(公告)日:2019-08-30

    申请号:CN201510717939.4

    申请日:2015-10-29

    Abstract: 本发明提供了一种图像修补方法和图像修补装置,其中,图像修补方法,包括:确定待修补图像中包含有未知像素点的至少一个缺失块;对于所述至少一个缺失块中的任一缺失块,聚类得到所述任一缺失块的相似块,以形成由所述任一缺失块聚类得到的类;根据由所述任一缺失块聚类得到的类,构成具有低秩性质的矩阵;采用核范数逼近所述矩阵的秩,并采用奇异值阈值的方法对所述矩阵进行求解;根据对所述矩阵求解后的值,对所述待修补图像中的所述任一缺失块进行修补。本发明的技术方案提高了对图像中缺失块修补的准确性,有效地实现了对缺失块的图像进行修补的目的。

    一种视频编码、解码方法及视频编码帧内预测器

    公开(公告)号:CN110677644B

    公开(公告)日:2021-11-16

    申请号:CN201810713756.9

    申请日:2018-07-03

    Applicant: 北京大学

    Abstract: 本发明公开一种视频编码、解码方法及视频编码帧内预测器。本发明的预测器包括一循环神经网络,所述循环神经网络用于生成待编码块的预测值;其中,所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充,产生一图像;然后将该图像映射到特征空间,并提取该图像的局部特征;然后利用所述局部特征对该待编码块的预测块进行填充,得到该待编码块的预测值。本发明通过块级参考像素的选取和端到端的预测方法提高了编码效率,增强了现有视频编码器的编码性能。

    一种人机协同的视频编码方法及视频编码系统

    公开(公告)号:CN113132732A

    公开(公告)日:2021-07-16

    申请号:CN201911408329.0

    申请日:2019-12-31

    Applicant: 北京大学

    Abstract: 本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为:1)对于一段待编码视频以及对应的关键点序列,编码器首先对关键点序列进行编码压缩,形成关键点序列码流;然后从待编码视频中选取一帧并编码,作为参考帧,形成参考帧码流;根据关键点序列和参考帧生成一预测视频;2)降低该待编码视频的分辨率;计算该真实低分率视频与预测视频信号之间的残差,根据各帧的残差组成一残差视频序列并将其编码成残差码流;3)编码器根据需求将码流选择性的传输到解码器;如果为机器视觉任务,则根据关键点码流重建得到关键点序列;如果需要重建视频序列,则根据三码流重建得到原分辨率视频。本发明根据应用需求,提供可伸缩的视频编码。

    一种视频编码、解码方法及视频编码帧内预测器

    公开(公告)号:CN110677644A

    公开(公告)日:2020-01-10

    申请号:CN201810713756.9

    申请日:2018-07-03

    Applicant: 北京大学

    Abstract: 本发明公开一种视频编码、解码方法及视频编码帧内预测器。本发明的预测器包括一循环神经网络,所述循环神经网络用于生成待编码块的预测值;其中,所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充,产生一图像;然后将该图像映射到特征空间,并提取该图像的局部特征;然后利用所述局部特征对该待编码块的预测块进行填充,得到该待编码块的预测值。本发明通过块级参考像素的选取和端到端的预测方法提高了编码效率,增强了现有视频编码器的编码性能。

    一种基于深度学习的多模式分像素插值方法

    公开(公告)号:CN111698514B

    公开(公告)日:2022-04-15

    申请号:CN201910184099.8

    申请日:2019-03-12

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于深度学习的多模式分像素插值方法,其步骤包括:1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测,生成两种模式下的分像素预测值;模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差,并将左上角整像素与预测残差相加,得到一组目标亚像素值;模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一整像素的残差,计算对应的目标亚像素预测值;2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一和模式二生成的亚像素级参考块,对待编码块进行帧间编码,然后基于三种编码的编码效果选择最佳亚像素级参考块,并将供解码器端使用的相应信息存储到码流。

    一种基于深度学习的多模式分像素插值方法

    公开(公告)号:CN111698514A

    公开(公告)日:2020-09-22

    申请号:CN201910184099.8

    申请日:2019-03-12

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于深度学习的多模式分像素插值方法,其步骤包括:1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测,生成两种模式下的分像素预测值;模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差,并将左上角整像素与预测残差相加,得到一组目标亚像素值;模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一整像素的残差,计算对应的目标亚像素预测值;2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一和模式二生成的亚像素级参考块,对待编码块进行帧间编码,然后基于三种编码的编码效果选择最佳亚像素级参考块,并将供解码器端使用的相应信息存储到码流。

    图像风格刷的实现方法与装置

    公开(公告)号:CN107464273A

    公开(公告)日:2017-12-12

    申请号:CN201610390891.5

    申请日:2016-06-02

    CPC classification number: G06T11/40

    Abstract: 本发明实施例提供一种图像风格刷的实现方法与装置。该方法包括根据输入图与参考图之间的稠密对应,获取输入图与参考图的匹配对应点;根据匹配对应点,确定输入图的第一超像素集合和参考图的第二超像素集合,并进一步确定超像素二部图;对超像素二部图进行二部图匹配,确定输入图的第一超像素集合与参考图的第二超像素集合中相互匹配的超像素对;根据第一颜色空间和所述超像素对,对输入图的超像素进行颜色转换,得到结果图。通过根据参考图具备的多种风格元素,对输入图进行风格转换,得到结果图,实现将参考图中包含的多种风格元素直接、全部转换至输入图上,改变输入图的颜色、灰度、对比度相关的视觉效果,从而使得结果图具有参考图的风格。

Patent Agency Ranking