-
公开(公告)号:CN110677644A
公开(公告)日:2020-01-10
申请号:CN201810713756.9
申请日:2018-07-03
Applicant: 北京大学
IPC: H04N19/103 , H04N19/176 , H04N19/573 , H04N19/70
Abstract: 本发明公开一种视频编码、解码方法及视频编码帧内预测器。本发明的预测器包括一循环神经网络,所述循环神经网络用于生成待编码块的预测值;其中,所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充,产生一图像;然后将该图像映射到特征空间,并提取该图像的局部特征;然后利用所述局部特征对该待编码块的预测块进行填充,得到该待编码块的预测值。本发明通过块级参考像素的选取和端到端的预测方法提高了编码效率,增强了现有视频编码器的编码性能。
-
公开(公告)号:CN109862299A
公开(公告)日:2019-06-07
申请号:CN201711236795.6
申请日:2017-11-30
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
IPC: H04N7/01
Abstract: 本申请提供一种分辨率的处理方法及装置,该方法包括:获取待处理的目标低分辨率视频数据,采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。实现了端对端地学习如何对帧内和帧间相关性同时进行建模,采用联合空间-时间残差学习方式,预测高清视频的时间残差,促进对空间残差和视频帧的预测。通过嵌入时间残差预测,能够对高分辨率视频多帧之间的运动上下文进行隐含建模,同时具有较低的计算复杂度。
-
公开(公告)号:CN106558024B
公开(公告)日:2019-02-01
申请号:CN201510628519.9
申请日:2015-09-28
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
IPC: G06T5/00
Abstract: 本发明公开一种进行自适应窗口拓展的自回归插值方法及装置,能够提升基于自回归模型的插值方法的插值效果。所述方法包括:对于第一图像中的每一个高分辨率像素点,基于该像素点的等照度线进行自适应窗口拓展,得到目标插值窗口;对于每一个目标插值窗口,基于块测地距计算该目标插值窗口中中心像素点与其它每一个像素点之间的相似性概率,根据相似性概率,通过使用带权重的岭回归对待构建的自回归模型的参数进行预测,在该目标插值窗口中构建自回归模型;对于所述每一个高分辨率像素点,求解该像素点所对应的自回归模型,得到对该像素点插值后的像素点灰度值;利用灰度值所对应的像素点替换第一图像中相应的高分辨率像素点,得到第二图像。
-
公开(公告)号:CN106558018A
公开(公告)日:2017-04-05
申请号:CN201510621555.2
申请日:2015-09-25
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
IPC: G06T3/40
CPC classification number: G06T3/4053
Abstract: 本发明公开一种基于构件分解的视频人脸幻构方法及装置,能够提高低分辨率人脸视频的人脸幻构的性能。所述方法包括:对于待进行人脸幻构的低分辨率人脸视频的每一帧图像,将该帧图像中的人脸部分按照人脸结构进行分解,并将分解得到的各个人脸部分分割成图像块;对于分割得到的每一个图像块,从预设的图像块库中获取该图像块的预设数量个最近邻图像块;对于所述低分辨率人脸视频的每一帧图像,利用所述最近邻图像块,采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块,得到高分辨率图像块,通过将所述高分辨率图像块合并得到目标高分辨率图像;将各个目标高分辨率图像进行合并,得到目标高分辨率人脸视频。
-
公开(公告)号:CN112785523B
公开(公告)日:2023-10-17
申请号:CN202110088761.7
申请日:2021-01-22
Applicant: 北京大学
IPC: G06T5/00 , G06V10/774 , G06N3/0464
Abstract: 本发明公开了一种子带网络桥接的半监督图像去雨方法及装置,通过深度学习来进行雨天图像的半监督学习,提出了一种递归频带表示来连接无监督和全监督框架。本文提取出一系列由粗到精的频带表示,并通过递归的端到端学习进行增强,进行雨痕去除和细节修正。在感知质量引导的对抗学习下,使用深度频带表示进行重构,生成最终的复原结果。本发明提取出一系列由粗到精的频带表示,并通过递归的端到端学习进行增强,进行雨痕去除和细节修正,提出了一种递归频带表示来连接无监督和全监督框架。
-
公开(公告)号:CN113259676B
公开(公告)日:2023-01-17
申请号:CN202010084834.0
申请日:2020-02-10
Applicant: 北京大学
IPC: H04N19/182 , H04N19/124 , H04N19/42 , G06T9/00 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于深度学习的图像压缩方法和装置,主要用于图像的编码压缩,即将原始图像信号,利用其冗余性,压缩编码成二进制码流,并且尽可能地使得原本的图像信号在解码时得以还原重建。本发明基于卷积神经网络,使用多尺度超先验结构,充分利用超先验表示信息进行重建,实现了全可并行网络结构,可以有效地提高图像压缩性能,尤其是针对高分辨率图像有明显优化。
-
公开(公告)号:CN113132735A
公开(公告)日:2021-07-16
申请号:CN201911392082.8
申请日:2019-12-30
Applicant: 北京大学
IPC: H04N19/503 , H04N19/136 , H04N19/42 , H04N19/124 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于视频帧生成的视频编码方法,其步骤包括:训练神经网络:每次训练迭代时,从样本视频训练集中抽取一个视频片段的两帧Ik和It送入神经网络中,生成对It的预测计算和目标帧It之间的L1范数并将其反向传播到神经网络,直到神经网络收敛;编码阶段:编码端利用神经网络提取已编码的参考帧和目标待编码非关键帧之间的稀疏运动表征,生成预测帧;将预测帧加入参考帧列表进行帧间预测,然后将帧间预测信息和稀疏运动表征发送给解码端;解码阶段:解码端根据重建的参考帧和传输的稀疏运动表征估计到目标帧的稠密运动信息并生成目标帧;然后将生成的目标帧加入参考帧列表并利用帧间预测信息进行目标帧的重建。
-
公开(公告)号:CN113132727A
公开(公告)日:2021-07-16
申请号:CN201911393847.X
申请日:2019-12-30
Applicant: 北京大学
IPC: H04N19/124 , H04N19/172 , H04N19/42 , H04N19/44 , H04N19/70 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于图像生成的可伸缩机器视觉编码方法,其步骤包括:构建一运动引导图像生成网络;训练神经网络:每次迭代时,从视频序列中选取关键帧与待编码帧及对应的关键点数据并输入网络,计算出关键帧和待编码帧的关键点;根据关键帧与待编码帧的关键点差别进行运动估计;根据估计所得运动以及关键帧获得待编码帧的重建帧;计算关键点位置的预测结果与关键点实际位置之间的预测误差以及计算待编码帧与其重建帧的重建误差,并将其反向传播到网络直到网络收敛;编码阶段:将待处理视频序列的每一帧输入训练后的运动引导图像生成网络,计算每一帧中的关键点的位置信息并进行量化压缩;解码阶段根据码流和任务进行图像重建。
-
公开(公告)号:CN111163318B
公开(公告)日:2021-05-04
申请号:CN202010020628.3
申请日:2020-01-09
Applicant: 北京大学
IPC: H04N19/184 , H04N19/146 , H04N19/136
Abstract: 本申请公开了一种基于反馈优化的人机视觉编码方法,所述方法包括:编码端获取所述目标视频对应的像素特征后输入预设预测模型中生成语义特征;编码端基于所述语义特征生成视频流和特征流;解码端基于所述编码后的特征流和视频流生成解码视频;解码端当接收到针对客户端输入的参数调整指令时,生成码率参数发送至编码端;编码端获取当前码率;编码端基于所述码率参数对所述当前码率进行调整生成调整后的码率;编码端基于所述调整后的码率增强所述视频流和所述特征流,生成增强后的视频流和增强后的特征流;解码端基于所述增强后的视频流和增强后的特征流对编码端模型进行更新。因此,采用本申请实施例,可以提高视频特征抽取和压缩效率。
-
公开(公告)号:CN112614073A
公开(公告)日:2021-04-06
申请号:CN202011593324.2
申请日:2020-12-29
Applicant: 北京大学
Abstract: 本发明公开了一种基于视觉质量评价反馈的图像去雨方法及电子装置,包括基于若干样本无雨图像及生成的雨痕与雨雾,构建成对图像数据集;将搜集的样本雨天图像进行去雨处理,并对各处理后样本雨天图像进行人工视觉质量评估,构建非成对雨天图像质量数据集;利用非成对雨天图像质量数据集,训练第一卷积神经网络,得到质量评估网络;使用成对图像数据集和质量评估网络约束,训练第二卷积神经网络,得到图像去雨模型;将待处理图像输入图像去雨模型,得到去雨后的图像。本发明使用了真实的雨天图像参与模型训练,使模型能学习到处理更加丰富和真实的降质类型,引入了视觉质量评价反馈,使生成的去雨图像具有人眼主观意义上更好的质量。
-
-
-
-
-
-
-
-
-