一种脉冲视频信号可视化FPGA硬件及重建方法

    公开(公告)号:CN116528061A

    公开(公告)日:2023-08-01

    申请号:CN202310169232.9

    申请日:2023-02-10

    Abstract: 本发明属于图像处理技术领域,公开了一种脉冲视频信号可视化FPGA硬件及重建方法,包括Capture模块、SNN_IP算法模块和MIPI_OUT模块,所述Capture模块用于存储相机捕捉的脉冲信号并对其进行预处理;所述SNN_IP算法模块用于对预处理的脉冲数据采用TFP算法重构出灰度像素数据;所述MIPI_OUT模块用于将重构像素数据并行输出。本发明分别算法优化和系统级优化两部分来解决。一、算法优化方面:在重构算法上,我们运用TFP算法对视频脉冲流进行处理,实现了脉冲像素的快速重构。二、硬件级优化方面:采用pipeline结构,在限制资源的前提下,大大减少了运行时间。

    联合非对称卷积块和条件上下文的智能图像压缩优化方法

    公开(公告)号:CN112866694B

    公开(公告)日:2023-07-14

    申请号:CN202011644521.2

    申请日:2020-12-31

    Abstract: 本发明用于基于端到端的智能图像压缩领域,属于图像/视频压缩领域,涉及联合非对称卷积块和条件上下文的智能图像压缩的优化方法,具有训练阶段和推理阶段,在所述训练阶段,搭建整体端到端的图像压缩框架,包括主编码/解码器,超先验编码/解码器,条件上下文模型,熵参数模型,以及因子分解熵模型,其中,所述主编码/解码器,超先验编码/解码器均采用非对称卷积块即ACB模块对视频图像进行特征提取;在推理阶段,利用ACB模块的兼容性对并行卷积核合成。本发明通过非对称卷积块能够提高标准平方卷积的提取特征的能力,邻域/全局域的上下文捕获机制则可以提高潜在特征值的建模精准度,使之更符合客观出现概率情况来减少编码冗余。

    语境特征融合的虚拟视点合成图像空洞填充方法

    公开(公告)号:CN115297316A

    公开(公告)日:2022-11-04

    申请号:CN202210963297.6

    申请日:2022-08-11

    Abstract: 本发明方法公开了语境特征融合的虚拟视点合成图像空洞填充方法。本发明方法首先以参考视图、参考深度图和相机信息为单位,检测出深度图的前景信息并进行前景扩散,然后根据3D变换和参考信息绘制出虚拟视点图像,最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。本发明根据3D‑warpintg、空洞和前景之间的位置关系和注意力机制原理,改进了已有的注意力提取特征的方法,尤其是在视频序列中包含快速运动的物体在修复工作中起重要作用。本发明加强了同一空洞区域的连续特征块之间的联系,消除前景信息对背景区域修复的影响,可以直接应用在3D视频处理,3D视频/图像物体修复等领域。

    一种基于深度神经网络的快速视频编码方法

    公开(公告)号:CN114286093A

    公开(公告)日:2022-04-05

    申请号:CN202111599851.9

    申请日:2021-12-24

    Abstract: 本发明公开了一种基于深度神经网络的快速视频编码方法。本发明包括基于深度神经网络的CU划分模块、基于邻域相关性的PU模式选择模块;CU块在帧内编码时会先经过PU模式选择计算率失真代价,此时先利用基于邻域相关性的PU模式选择模块进行优化,通过轻量级HCT模型的预测结果来减少RDO计算的候选模式数量;PU模式选择结束后,编码器会进行CU块深度判决,判断该CU块是否进行划分,此时由基于深度神经网络的CU划分模块进行优化,从HCT模型获得预测结果来判断是否提前终止划分。否则继续向下划分子CU块,并继续进行PU模式选择和CU块划分判决。本发明降低了CU递归划分的复杂度,简化了帧内预测模式的选择过程,有效地提高了HEVC编码的时间效率。

    一种码率预估方法及基于码率预估快速模式决策方法

    公开(公告)号:CN110418131B

    公开(公告)日:2021-07-27

    申请号:CN201910638480.7

    申请日:2019-07-15

    Abstract: 本发明公开了一种码率预估方法及基于码率预估快速模式决策方法。所述的码率计算公式如下:Rori=Rhdr+Re其中Rhdr为头比特码率,Re为TU码率;所述TU码率计算包括:S1)通过加权量化系数总和SQC进行码率预估,表示为Rsqc;S2)确定基于CG级别的位置信息Zpos;S3)确定上下文模型反转参数Mturn;S4)确定是否使用TU级别最后一个非零系数位置信息Ztlp;S5)计算最终各TU码率:其中Rzpos=a1Zpos,Rturn=a2Mturn,Rtlp=a3Ztlp,将Rzpos、Rturn、Rtlp带入公式Re,计算得到的码率进行拟合得到系数a1、a2、a3。本发明快速精准的预估码率,从而可以保证在可接受性能损失的范围下,实现减少视频编码负担和节约编码时间的目的。

    一种多信息融合的立体视频显著性检测方法

    公开(公告)号:CN113128344A

    公开(公告)日:2021-07-16

    申请号:CN202110297430.4

    申请日:2021-03-19

    Abstract: 本发明方法公开了一种多信息融合的立体视频显著性检测方法。本发明方法首先通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图;基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;然后利用不同区域的深度差异度计算深度空间显著图;提取深度变化的信息,获得深度运动图;最后使用多层细胞自动机融合产生的视频序列的四种显著图,得到立体视频的显著图。本发明方法根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用,融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。

    一种码率预估方法及基于码率预估快速模式决策方法

    公开(公告)号:CN110418131A

    公开(公告)日:2019-11-05

    申请号:CN201910638480.7

    申请日:2019-07-15

    Abstract: 本发明公开了一种码率预估方法及基于码率预估快速模式决策方法。所述的码率计算公式如下:Rori=Rhdr+Re其中Rhdr为头比特码率,Re为TU码率;所述TU码率计算包括:S1)通过加权量化系数总和SQC进行码率预估,表示为Rsqc;S2)确定基于CG级别的位置信息Zpos;S3)确定上下文模型反转参数Mturn;S4)确定是否使用TU级别最后一个非零系数位置信息Ztlp;S5)计算最终各TU码率: 其中Rzpos=a1Zpos,Rturn=a2Mturn,Rtlp=a3Ztlp,将Rzpos、Rturn、Rtlp带入公式Re,计算得到的码率进行拟合得到系数a1、a2、a3。本发明快速精准的预估码率,从而可以保证在可接受性能损失的范围下,实现减少视频编码负担和节约编码时间的目的。

    一种基于listwise算法在线学习排序方法

    公开(公告)号:CN109933715A

    公开(公告)日:2019-06-25

    申请号:CN201910206099.3

    申请日:2019-03-18

    Abstract: 本发明涉及信息检索技术领域,具体涉及一种基于listwise算法在线学习排序方法。首先使用listwise算法的思想,将查询关键字对应的候选记录排序列表作为训练实例;然后利用在线学习排序算法的训练过程,在应用训练实例时,训练实例按照顺序到达神经网络,并且仅被扫描一次;最后通过最小化损失值获取精准的排序模型。本发明将在线学习算法应用到listwise算法中,可以利用在线获得的数据对已有的排序模型进行更新,实现在线处理和提高算法的有效性;保证了online-listwise算法在信息检索领域的可实施性和性能。通过自适应学习率更新排序模型,使排序模型更加精准和尽快收敛。

Patent Agency Ranking