-
公开(公告)号:CN117915104A
公开(公告)日:2024-04-19
申请号:CN202410074860.3
申请日:2024-01-18
Applicant: 杭州电子科技大学
IPC: H04N19/30 , H04N19/103 , H04N19/149 , H04N19/176 , H04N19/503 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于神经网络的VVC多层次快速帧间编码系统及方法。本发明包括基于运动场与编码信息的CU划分终止模块;基于轻量级全连接网络的CTU深度预测模块;基于编码信息的TT划分终止模块;基于CNN的CU划分模式选择模块;通过四个模块之间多层次的组合,避免冗余的划分方式,降低帧间编码复杂度。本发明针对帧间编码的特性,利用编码上下文信息和神经网络的特征提取能力,从多个层次出发,各层次相互结合,兼顾复杂度与准确性,有效的降低了VVC帧间编码复杂度。
-
公开(公告)号:CN117915095A
公开(公告)日:2024-04-19
申请号:CN202410020227.6
申请日:2024-01-05
Applicant: 杭州电子科技大学
IPC: H04N19/147 , H04N19/436 , H04N19/124 , H04N19/146
Abstract: 本发明属于视频编码领域,涉及一种扫描线级加速并行RDOQ方法,采用SIMD指令,在预量化阶段同时对每个变换系数进行独立的预量化处理;在最优系数水平决策阶段,并行处理预量化后得到的量化系数,通过率失真优化来确定量化系数的最优值;在最后有效系数位置决策阶段,继续以并行处理的方式,同时基于贪婪策略获取到最优的最后有效系数位置。本发明的方法在保证编码性能损失较小的前提下,实现了RDOQ过程并行计算,且相比现有的并行RDOQ方法,本发明适用于硬件加速领域,基于贪婪算法实现LSC位置决策,创新度高,硬件吞吐量和编码性能有一个良好的折衷,为视频编码并行优化相关的算法研究提供了参考,具有重大意义。
-
公开(公告)号:CN112085683B
公开(公告)日:2024-04-09
申请号:CN202010816235.3
申请日:2020-08-14
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种显著性检测中的深度图可信度检测方法。该方法具体包括以下步骤:判断待测深度图像的收敛性;B)对收敛的深度图像做中值滤波处理;C)对中值滤波处理后的深度图像及其参考图像进行边缘检测,并获取边缘信息;D)计算深度图像及其参考图像的边缘的相似度,获得可信度分数。该方法引入图像收敛性概念,过滤显著物体不明显的深度图像,在提取边缘特征前进行中值滤波处理,通过自适应阈值的边缘检测,在像素级别上求取深度图像和参考图像的相似度,使深度图像显著物体的边缘定位更准确,不会受到边缘附近区块因失真等原因导致的数值变化的影响,获得的深度图像的可信度结果更为准确。
-
公开(公告)号:CN117036539A
公开(公告)日:2023-11-10
申请号:CN202311168862.0
申请日:2023-09-12
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于深度学习的虚拟视点绘制空洞填充方法及装置,基于原图及其掩膜图,得到待修复图,将待修复图和掩膜图输入渐进式迭代网络,渐进式迭代网络通过部分卷积对待修复图进行局部空洞识别,并基于知识一致注意力机制进行空洞填充,构建损失函数以提升背景空洞区域和已知区域的语义一致性;构建上下文特征传播损失,融入步骤S1中构建的损失函数,将渐进式迭代网络的输出,进行相似性编码,得到图像块和非空洞区域图像块的相似度,基于相似度,使得背景空洞生成具有语义一致性的填充块;将渐进式迭代网络的输出,进行加权合并,得到最终的修复图。
-
公开(公告)号:CN116528061A
公开(公告)日:2023-08-01
申请号:CN202310169232.9
申请日:2023-02-10
Applicant: 杭州电子科技大学
Abstract: 本发明属于图像处理技术领域,公开了一种脉冲视频信号可视化FPGA硬件及重建方法,包括Capture模块、SNN_IP算法模块和MIPI_OUT模块,所述Capture模块用于存储相机捕捉的脉冲信号并对其进行预处理;所述SNN_IP算法模块用于对预处理的脉冲数据采用TFP算法重构出灰度像素数据;所述MIPI_OUT模块用于将重构像素数据并行输出。本发明分别算法优化和系统级优化两部分来解决。一、算法优化方面:在重构算法上,我们运用TFP算法对视频脉冲流进行处理,实现了脉冲像素的快速重构。二、硬件级优化方面:采用pipeline结构,在限制资源的前提下,大大减少了运行时间。
-
公开(公告)号:CN115297316A
公开(公告)日:2022-11-04
申请号:CN202210963297.6
申请日:2022-08-11
Applicant: 杭州电子科技大学
Abstract: 本发明方法公开了语境特征融合的虚拟视点合成图像空洞填充方法。本发明方法首先以参考视图、参考深度图和相机信息为单位,检测出深度图的前景信息并进行前景扩散,然后根据3D变换和参考信息绘制出虚拟视点图像,最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。本发明根据3D‑warpintg、空洞和前景之间的位置关系和注意力机制原理,改进了已有的注意力提取特征的方法,尤其是在视频序列中包含快速运动的物体在修复工作中起重要作用。本发明加强了同一空洞区域的连续特征块之间的联系,消除前景信息对背景区域修复的影响,可以直接应用在3D视频处理,3D视频/图像物体修复等领域。
-
公开(公告)号:CN114286093A
公开(公告)日:2022-04-05
申请号:CN202111599851.9
申请日:2021-12-24
Applicant: 杭州电子科技大学
IPC: H04N19/119 , H04N19/105 , H04N19/14 , H04N19/11 , H04N19/593 , H04N19/147 , H04N19/96 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于深度神经网络的快速视频编码方法。本发明包括基于深度神经网络的CU划分模块、基于邻域相关性的PU模式选择模块;CU块在帧内编码时会先经过PU模式选择计算率失真代价,此时先利用基于邻域相关性的PU模式选择模块进行优化,通过轻量级HCT模型的预测结果来减少RDO计算的候选模式数量;PU模式选择结束后,编码器会进行CU块深度判决,判断该CU块是否进行划分,此时由基于深度神经网络的CU划分模块进行优化,从HCT模型获得预测结果来判断是否提前终止划分。否则继续向下划分子CU块,并继续进行PU模式选择和CU块划分判决。本发明降低了CU递归划分的复杂度,简化了帧内预测模式的选择过程,有效地提高了HEVC编码的时间效率。
-
公开(公告)号:CN113128344A
公开(公告)日:2021-07-16
申请号:CN202110297430.4
申请日:2021-03-19
Applicant: 杭州电子科技大学
Abstract: 本发明方法公开了一种多信息融合的立体视频显著性检测方法。本发明方法首先通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图;基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;然后利用不同区域的深度差异度计算深度空间显著图;提取深度变化的信息,获得深度运动图;最后使用多层细胞自动机融合产生的视频序列的四种显著图,得到立体视频的显著图。本发明方法根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用,融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。
-
公开(公告)号:CN112995672A
公开(公告)日:2021-06-18
申请号:CN202110153835.0
申请日:2021-02-04
Applicant: 杭州电子科技大学
IPC: H04N19/192
Abstract: 本发明公开了一种基于参数选择的视频编码算法优化方法,包括:S1,通过R‑D‑T综合性能评价指标,将率失真性能和编码复杂度进行综合分析;S2,分析参数间的相关性,定量计算参数的耦合系数,根据耦合系数对参数进行排序;S3,通过参数选择算法,在第一个循环中,获得一组最优参数组合;第二个循环在第一个循环的基础上加入编码时间限制,基于同一个参数的取值越小,则编码时间越短的规律,在第一个循环得到的最优参数组合的基础上,通过实际编码时间与目标编码时间对比来确定增大或减小参数取值,比较不同参数调整后的RDTscore,从而找出综合性能最好的参数作为本轮参数调整的对象,直到在误差允许的范围内达到目标复杂度。
-
公开(公告)号:CN110062219B
公开(公告)日:2020-11-06
申请号:CN201910186602.3
申请日:2019-03-12
Applicant: 杭州电子科技大学
IPC: H04N13/106 , H04N13/161 , H04N13/271
Abstract: 本发明涉及一种结合虚拟视点绘制3D‑HEVC整帧丢失错误隐藏方法。本发明方法首先利用基于深度图渲染技术及单路完好接收视点的图像帧,对丢失的整个图像帧进行绘制;然后,结合图像结构,对边界块的模糊失真进行基于时域信息的修补;最后,使用图像块联合运动判定法来决定图像块进行的后处理,对绘制后的静止块和运动块进行不同类型基于像素的残差补足以再次提升性能。本发明方法不需要任何运动矢量,很好的避免了HBP结构中由于运动矢量精确度的问题而造成的各种错误隐藏弊端。对立体视频在网络传输中发生的网络整帧丢包现象有很好的恢复效果。
-
-
-
-
-
-
-
-
-