-
公开(公告)号:CN107330100B
公开(公告)日:2020-04-03
申请号:CN201710545632.X
申请日:2017-07-06
Applicant: 北京大学深圳研究生院
IPC: G06F16/583 , G06F16/33 , G06F16/338 , G06F16/36 , G06F40/253 , G06F40/30 , G06K9/62 , G06N3/08
Abstract: 本发明公布了一种基于多视图联合嵌入空间的图像‑文本双向检索方法,通过结合全局层面和局部层面的语义关联关系进行检索;先从画面‑句子视图和区域‑短语视图下分别获得全局和局部层面的语义关联关系,在画面‑句子视图中获取画面和句子全局层面子空间中的语义关联信息;在区域‑短语视图中获取区域和短语局部层面子空间中的语义关联信息;两个视图中均通过双分支的神经网络处理数据得到同构特征嵌入共同空间,在训练中使用约束条件保留数据原有的语义关系;再通过多视图融合排序方法融合两种语义关联关系得到数据之间更精准的语义相似度,使得检索结果准确度更高。
-
公开(公告)号:CN106846245B
公开(公告)日:2019-08-02
申请号:CN201710031017.7
申请日:2017-01-17
Applicant: 北京大学深圳研究生院
IPC: G06T3/00
CPC classification number: G06T3/0031 , G06T3/005 , G06T3/0075
Abstract: 本发明公布了全景视频正映射方法和全景视频反映射方法,涉及虚拟现实(VR)视频领域。本发明中,正映射方法基于主视点,将球面上的区域I、II、III分别映射到平面上相应的区域,其中区域I对应夹角0°~Z1的区域,区域II对应夹角Z1~Z2的区域,区域III对应夹角Z2~180°的区域。全景视频正映射方法将全景图像A所对应的球面映射到平面方形图像B上;全景视频反映射方法将平面方形图像B映射回球面,进行渲染播放。本发明可大大降低视频的分辨率,有效地降低全景视频编码的码率和编解码的复杂度,达到减少编码码率并保证ROI区域的视频质量的目的。
-
公开(公告)号:CN109905624A
公开(公告)日:2019-06-18
申请号:CN201910156565.1
申请日:2019-03-01
Applicant: 北京大学深圳研究生院
Abstract: 本说明书实施例公开了一种视频帧插值方法、装置及设备。方案包括:获取视频帧训练集合,视频帧训练集合包括偶数张连续视频帧和第一关键帧,第一关键帧为偶数张连续视频帧的中间帧;构建金字塔深度学习模型,金字塔深度学习模型包括多个卷积神经网络层,各卷积神经网络层用于生成不同分辨率的中间帧;将偶数张连续视频帧输入至金字塔深度学习模型中,生成第二关键帧;根据第二关键帧和第一关键帧修正金字塔深度学习模型;然后根据修正后的金字塔深度学习模型进行视频帧插值。本发明充分地挖掘了多帧之间的时空域信息,而且采取金字塔精进策略,有效地对运动信息,遮挡区域进行估计,极大提高了中间帧的质量。
-
公开(公告)号:CN109788284A
公开(公告)日:2019-05-21
申请号:CN201910144295.2
申请日:2019-02-27
Applicant: 北京大学深圳研究生院
IPC: H04N19/124 , H04N19/176 , H04N19/93
Abstract: 本说明书实施例提供一种量化块的解码方法、装置及电子设备。所述方法包括:确定量化块中量化系数的扫描顺序,初始化量化系数的扫描位置,并解码一个游程长度;将当前扫描位置的下标值与游程长度的值相加得到非零系数的扫描位置,对非零系数的值进行解码;判断非零系数的下标值是否为最大下标值,当为最大下标值时,结束量化块的解码;否则,判断是否还存在未解码的非零系数,当不存在未解码的非零系数时,结束量化块的解码;当存在未解码的非零系数时,将所述非零系数的下标值加1得到更新后的当前扫描位置,继续以当前扫描位置为起始扫描位置解码下一个游程长度,直至完成量化块的解码。采用本申请的技术方案,能够提升量化块的解码效率。
-
公开(公告)号:CN105681805B
公开(公告)日:2019-05-21
申请号:CN201610035562.9
申请日:2016-01-19
Applicant: 北京大学深圳研究生院
IPC: H04N19/503 , H04N19/176 , H04N19/59 , H04N19/513
Abstract: 一种视频编码、解码方法及其帧间预测方法和装置,其中,帧间预测方法包括:获取当前图像块的运动矢量以及当前像素的相关空间位置信息;根据当前图像块的运动矢量以及当前像素的相关空间位置信息得到当前像素的运动矢量;根据得到的当前像素的运动矢量得到当前像素的预测值。因此,在进行帧间预测时,不仅仅考虑当前图像块的运动矢量,还考虑当前像素的相关空间位置信息,可以适应不同的镜头畸变的特性以及当物体在画面中运动时产生的放大/缩小现象,从而提高计算像素的运动矢量时的准确性,提升视频编解码过程中帧间预测的性能和压缩效率。
-
公开(公告)号:CN104244006B
公开(公告)日:2019-02-26
申请号:CN201410230514.6
申请日:2014-05-28
Applicant: 北京大学深圳研究生院
IPC: H04N19/53
Abstract: 本申请提供的基于图像超分辨率的视频编解码方法及装置,本申请方法在对待编码和待编码的视频图像进行预测前,先对视频图像进行超分辨率插值处理,可以对图像进行放大及进行细节信息恢复,从而,在对待编码/待解码图像进行预测得到预测块时,相比现有技术利用线性插值对视频图像进行预测的方法,更能有效还原原图像,避免出现现有技术中预测块边缘模糊的问题,从而提升视频图像预测的准确性,进而提升视频图像的编码效率。
-
公开(公告)号:CN106060564B
公开(公告)日:2019-02-12
申请号:CN201610430071.4
申请日:2016-06-16
Applicant: 北京大学深圳研究生院
IPC: H04N19/593 , H04N19/80
Abstract: 一种帧内预测参考像素点滤波控制方法、装置及编码器,属于视频/图像编解码技术领域。对帧内待预测块的参考像素组中各参考像素点进行滤波处理时,当前待滤波的目标参考像素点若不是为参考像素组中的边缘参考像素点时(S202),获取该目标参考像素点与其相邻n个参考像素点之间的像素差异值(S203),选择与该像素差异值对应滤波等级的滤波器对目标参考像素点进行滤波(S204)。也即对参考像素组中未处于边缘的各参考像素点,根据这些参考像素点的局部差异特性灵活配置对应滤波等级的滤波器,滤波处理的灵活性、自适应性以及滤波效果更好。
-
公开(公告)号:CN106412582B
公开(公告)日:2019-01-29
申请号:CN201610945845.7
申请日:2016-10-26
Applicant: 北京大学深圳研究生院
IPC: H04N19/146 , H04N19/167
Abstract: 本发明公布了一种基于球面多层圆周的全景视频感兴趣区域的描述方法和编码方法,对全景视频多层感兴趣区域进行描述,首先设定为全景视频感兴趣区域的中心;再设定感兴趣区域的层数为N;通过半径或夹角获得当前层感兴趣区域的大小Rn;全部获取N层感兴趣区域的大小,将感兴趣区域的中心、层数、每一层的大小等信息写入码流的序列头。编码方法通过使用QP调整值对初始QP进行调整或进行滤波,再对图像进行编码。本发明技术方案可对全景视频多层感兴趣区域进行灵活的码率分配;在保证感兴趣区域具有较高的图像质量的同时,本发明技术方案能够大幅度降低编码和传输所需的码率。
-
公开(公告)号:CN105574823B
公开(公告)日:2018-10-09
申请号:CN201510926438.7
申请日:2015-12-14
Applicant: 北京大学深圳研究生院
IPC: G06T5/00
Abstract: 一种失焦模糊图像的去模糊方法和装置,先采用预设模糊核对输入的原始图像进行模糊处理,得到再模糊图像;根据模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计,得到稀疏模糊量图;根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计,得到完整模糊量图;根据所述完整模糊量图进行去模糊处理,得到去模糊图像。本申请提供的方法和装置中,由于使用了图像模糊后的边缘信息的变化来得到模糊量图,可以使得到的模糊量图更加准确,从而提高去模糊图像的质量。
-
公开(公告)号:CN106899840B
公开(公告)日:2018-06-05
申请号:CN201710116888.9
申请日:2017-03-01
Applicant: 北京大学深圳研究生院
IPC: H04N13/00 , H04N19/182 , G06T3/00
Abstract: 本发明公布了一种全景图像映射方法及反映射方法。其中,映射过程将全景图像或视频A对应的球面映射为二维平面图像或视频B,首先根据球面的纬度,将球面分成三个区域:分别记为区域I,区域II和区域III;将所述三个区域分别映射为方形平面I′、矩形平面II′和方形平面III′;再将平面I′、II′、III′拼成一个平面;所得的平面即为二维平面图像或视频B。相比于现有常用映射方法,本发明方法有效地改善了在高纬度区域的过采样,能够有效降低编码所需的码率以及解码的复杂度。涉及虚拟现实领域,可应用于全景图像和视频。
-
-
-
-
-
-
-
-
-