一种端边云协同视频群智感知多目标性能评价方法

    公开(公告)号:CN118337639A

    公开(公告)日:2024-07-12

    申请号:CN202410592683.8

    申请日:2024-05-14

    Abstract: 本发明公开了一种端边云协同视频群智感知多目标性能评价方法,基于码率度量码流数据传输代价,基于码率和相应存储架构度量码流数据存储代价,基于硬件资源和能量资源的消耗度量复杂度代价;将存储、传输和复杂度代价基于消耗的成本进行同质化度量,得到统一量纲度量的参量;计算和存储静态硬件成本折算为每一路摄像头视频所需计算和存储硬件代价;计算和存储动态能耗成本折算为每一路摄像头视频编码分析所需电力消耗代价;传输存储代价根据宽带网络费用折算为每路视频传输所需成本,所有成本基于货币进行度量;基于失真和无失真情况下的多目标性能,构建机器视觉算法性能损失,通过性能损失与所述参量构建代价函数,以不同参量下性能的优劣为判据进行多目标性能评价。

    一种基于参数取值选择的视频结构化分析系统软硬协同优化方法

    公开(公告)号:CN119094810A

    公开(公告)日:2024-12-06

    申请号:CN202411075832.X

    申请日:2024-08-07

    Abstract: 本发明属于视频分析技术领域,公开了一种基于参数取值选择的视频结构化分析系统软硬协同优化方法,包括步骤1:多模块算法控制参数和实现参数集构建;基于业界主流的YOLO+byteTrack+ResNet+SIFT CDVS特征视频结构化分析系统框架,结合异构多计算平台的编码算法特点和流水约束,为各模块选择硬件实现友好的算法框架;步骤2:多模块耦合参数优化取值选择;根据流水吞吐约束,通过一定并发粒度和并发强度的控制参数配置,实现系统吞吐和硬件消耗的平衡。本发明支持六个算法模块联合优化,支持码率、计算复杂度、算法精度以及系统处理检索延时等目标性能联合优化;实现多个算法模块多目标性能联合优化。

    一种基于人体特征紧凑表示的视频压缩方法

    公开(公告)号:CN119011840A

    公开(公告)日:2024-11-22

    申请号:CN202410948218.3

    申请日:2024-07-16

    Abstract: 本发明属于视频编码领域,公开了一种基于人体特征紧凑表示的视频压缩方法,包括步骤1:构建人体视频压缩框架;使用人体骨架特征来表征运动,首先将提取出的骨架特征通过人体特征压缩算法压缩冗余,与参考帧一同传输到解码端;之后恢复成原骨架,与重构的参考帧一起输入到生成网络中生成预测帧;最后输入到残差优化模块中进一步提升质量;步骤2:设计人体特征压缩算法;步骤3:特征残差编码优化;首先通过特征提取器提取预测帧和原始帧的深度特征,之后计算深度特征之间的残差,输入到上下文编码器当中,在熵模型的优化下进一步降低比特率。本发明极大提高了人体骨架信息的压缩率;能够以较低的比特流生成主观与客观质量良好的重构人体视频。

    一种用户生成视频质量评估方法及装置

    公开(公告)号:CN118279251A

    公开(公告)日:2024-07-02

    申请号:CN202410342801.X

    申请日:2024-03-25

    Abstract: 本发明公开了一种用户生成视频质量评估方法及装置,通过构建视频质量评价模型,避免忽视过滤机制导致的评价准确性下降;通过双阈值自适应调整权重阈值策略,避免评价模型对失真信息建模能力的不足;通过视觉聚焦策略,设计全新的空域窗口,对原空域窗口进行补充,使评价模型空时域失真信息充分交互,初始阶段能够充分感知空域信息,最后阶段能够充分学习时域失真信息;在窗口注意力模块的基础上,增加基于中心凹效应的可学习窗口相对位置偏移表来表示不同窗口在全局的相对位置,避免全局位置信息的缺失,此外,在局部自注意力中设置了与面积成正比的区域面积因子,用于平衡不同面积窗口的通道组注意力权重,避免评价模型在全局建模方面的不足。

    一种适用于机器视觉任务的恰可识别失真预测模型及方法

    公开(公告)号:CN119011835A

    公开(公告)日:2024-11-22

    申请号:CN202410948217.9

    申请日:2024-07-16

    Abstract: 本发明属于视频图像压缩领域,公开了一种适用于机器视觉任务的恰可识别失真预测模型及方法,包括JRD图像生成网络G、判别网络D和残差引导JRD回归网络R;所述JRD图像生成网络G以未压缩的原图像作为输入,以假JRD图像作为输出;之后,将生成图像与原始图像的残差作为对原图的补偿信息一起输入残差引导JRD回归网络R,最终输出预测的JRD分数,其中判别网络D以对抗的方式与生成网络G一起训练,以帮助G产生更接近真JRD图像的生成结果。在本发明提出的无参考模型中,原图像不需要进行若干次的压缩编解码,使预测效率大大提升。同时,在回归网络中,生成图像的残差作为补充信息被输入,使模型最终预测结果更加准确可靠。

    一种异构多尺度事件相机单目深度估计优化方法

    公开(公告)号:CN118537384A

    公开(公告)日:2024-08-23

    申请号:CN202410592852.8

    申请日:2024-05-14

    Abstract: 本发明属于深度估计技术领域,公开了一种异构多尺度事件相机单目深度估计优化方法,包括如下步骤:步骤1:异构多尺度事件相机单目深度估计优化模型;步骤2:异构数据匹配优化;步骤3:构建异构特征学习模型。本发明提出了异构多尺度事件相机单目深度估计优化模型,在研究事件相机单目深度估计模型优化的基础上,提出了异构数据匹配优化模型,解决了事件相机传感器与彩色相机传感器数据特征、结构迥异的问题;提出了异构数据学习模型,解决了异构数据特征不匹配的问题、学习约束过大导致部分通道产生负面效果的问题,为深度估计行业方案提供技术选择。

    一种端边云协同视频群智感知多目标性能评价方法

    公开(公告)号:CN118337639B

    公开(公告)日:2025-03-18

    申请号:CN202410592683.8

    申请日:2024-05-14

    Abstract: 本发明公开了一种端边云协同视频群智感知多目标性能评价方法,基于码率度量码流数据传输代价,基于码率和相应存储架构度量码流数据存储代价,基于硬件资源和能量资源的消耗度量复杂度代价;将存储、传输和复杂度代价基于消耗的成本进行同质化度量,得到统一量纲度量的参量;计算和存储静态硬件成本折算为每一路摄像头视频所需计算和存储硬件代价;计算和存储动态能耗成本折算为每一路摄像头视频编码分析所需电力消耗代价;传输存储代价根据宽带网络费用折算为每路视频传输所需成本,所有成本基于货币进行度量;基于失真和无失真情况下的多目标性能,构建机器视觉算法性能损失,通过性能损失与所述参量构建代价函数,以不同参量下性能的优劣为判据进行多目标性能评价。

Patent Agency Ranking