视频传输加速方法、发射端、接收端及存储介质

    公开(公告)号:CN115914736A

    公开(公告)日:2023-04-04

    申请号:CN202211184926.1

    申请日:2022-09-27

    Abstract: 本发明提供一种视频传输加速方法、发射端、接收端及存储介质,所述方法包括:基于帧间划分算法将视频流划分为第一视频帧流和第二视频帧流;基于超分辨率深度神经网络对所述第一视频帧流进行处理,得到第一图像流,对所述第一图像流进行编码压缩处理,得到第一数据流,并将所述第一数据流发送至接收端;将所述第二视频帧流进行编码压缩处理,得到第二数据流,并将所述第二数据流发送至接收端。本发明可以根据当前网络传输环境,传输端的硬件资源条件选择一个最优的帧间划分比例,充分利用视频发射端和接收端双向的运算资源来实现加速视频传输过程,并极大程度上节省带宽消耗,同时利用深度神经网络重训练的方法来改善视频有损压缩传输带来的损失。

    基于关键对象拼合的视频识别方法及装置存储介质和终端

    公开(公告)号:CN113378717B

    公开(公告)日:2022-08-30

    申请号:CN202110652794.X

    申请日:2021-06-11

    Abstract: 本发明公开了一种基于关键对象拼合的视频识别方法及装置存储介质和终端,其中方法包括对目标视频进行解码;获取I类帧图像识别结果;通过对象追踪算法获取P类帧图像数据中的所有关键对象矩形框和B类帧图像数据中的所有关键对象矩形框;通过对象聚合算法对所获取的关键对象矩形框进行聚合,并将合成帧输入到预设深度神经网络中得到合成帧识别结果;通过对象拆分算法对合成帧识别结果进行拆分,并将拆分结果返还到原图像数据中。本发明方法通过挤压掉输入到预设深度神经网络中的非关键信息来减少视频帧所对应的冗余计算,大大节省了目标视频识别任务中的计算工作量,提高了识别任务处理速度和识别准确率。

    视频实时识别分割及检测架构

    公开(公告)号:CN111985456B

    公开(公告)日:2022-08-30

    申请号:CN202010945694.1

    申请日:2020-09-10

    Abstract: 本发明公开了一种视频实时识别分割及检测架构,包括主存以及通过总线分别与主存连接的视频解码器、视频识别处理模块和神经网络处理模块;其中视频识别处理模块用于基于运动矢量表存储B类帧的运动矢量,并基于B类帧的运动矢量按解码顺序依次从主存中读取B帧图像数据参考帧中的图像分割结果和已获取的B帧图像数据的重建结果或B帧图像数据的参考帧图像检测结果并处理,获取B类帧的重建结果。本发明结构通过将视频解码器和神经网络紧密地联系起来,来维持准确率的同时实现更高的性能,解决现有对视频识别任务处理方法无法在确保精度较高的基础上降低计算量和能耗的问题。

    视频实时识别分割和检测方法及装置

    公开(公告)号:CN112084949A

    公开(公告)日:2020-12-15

    申请号:CN202010946166.8

    申请日:2020-09-10

    Abstract: 本发明公开了一种视频实时识别分割和检测方法及装置,其中分割方法包括对目标视频进行解码,获得目标视频的I类帧图像数据、P类帧图像数据和运动矢量表;基于运动矢量表获取B类帧的运动矢量;基于第一预设神经网络得到I类帧图像分割结果和P类帧图像分割结果;根据I类帧图像分割结果、P类帧图像分割结果、B类帧运动矢量以及已获取B帧图像数据的重建结果获取B类帧的重建结果;将B类帧的重建结果、I类帧图像分割结果、P类帧图像分割结果输入到第二预设神经网络得到B类帧的图像分割结果。本发明方法维持准确率的同时实现更高的性能,解决现有对视频识别任务处理方法无法在确保精度较高的基础上降低计算量和能耗的问题。

    基于特征值区域的动态量化方法、系统及介质

    公开(公告)号:CN111160523A

    公开(公告)日:2020-05-15

    申请号:CN201911293683.3

    申请日:2019-12-16

    Abstract: 本发明提供了一种基于特征值区域的动态量化方法,包括:步骤1:定位输入特征图中的敏感区域和非敏感区域;步骤2:对敏感区域和非敏感区域执行混合精度卷积;步骤3:将卷积结果提供给激活层和池化层;步骤4:在不同敏感度区域之间进行切换。本发明对输入特征图和权重进行量化,进而可以更好地保留NN的准确率;DRQ可以支持层内、甚至逐像素的量化,这种细粒度的量化策略为量化提供了更大的自由,可以在尽可能降低计算精度的情况下保证NN准确率。

    基于RRAM的深度学习推荐模型容错生成方法及设备

    公开(公告)号:CN116050472A

    公开(公告)日:2023-05-02

    申请号:CN202211174991.6

    申请日:2022-09-26

    Abstract: 本发明提供一种基于RRAM的深度学习推荐模型容错生成方法及设备,所述方法包括:应用于DLRM架构;所述DLRM架构包括内核,RRAM计算单元,稀疏索引数组基指针的寄存器,稀疏索引数组的寄存器,存储器;所述方法包括:在相同的方差下,采用不同的误差矩阵训练RRAM模型,获取所述RRAM模型的准确率,并求得平均准确率;在所述平均准确率收敛或不再继续升高时,获取在该方差时的误差下鲁棒性最强的RRAM模型;多次调整方差,得到每个方差下,鲁棒性最强的RRAM模型;根据通过神经网络映射之后的低维向量的重要性和电阻分布,交换所述低维向量映射到存储器。本发明可以针对RV和SF实现计紧耦合EL特性的容错方法。

Patent Agency Ranking