-
公开(公告)号:CN118337639A
公开(公告)日:2024-07-12
申请号:CN202410592683.8
申请日:2024-05-14
Applicant: 杭州电子科技大学
IPC: H04L41/14 , H04L43/0894
Abstract: 本发明公开了一种端边云协同视频群智感知多目标性能评价方法,基于码率度量码流数据传输代价,基于码率和相应存储架构度量码流数据存储代价,基于硬件资源和能量资源的消耗度量复杂度代价;将存储、传输和复杂度代价基于消耗的成本进行同质化度量,得到统一量纲度量的参量;计算和存储静态硬件成本折算为每一路摄像头视频所需计算和存储硬件代价;计算和存储动态能耗成本折算为每一路摄像头视频编码分析所需电力消耗代价;传输存储代价根据宽带网络费用折算为每路视频传输所需成本,所有成本基于货币进行度量;基于失真和无失真情况下的多目标性能,构建机器视觉算法性能损失,通过性能损失与所述参量构建代价函数,以不同参量下性能的优劣为判据进行多目标性能评价。
-
公开(公告)号:CN119094810A
公开(公告)日:2024-12-06
申请号:CN202411075832.X
申请日:2024-08-07
Applicant: 杭州电子科技大学
IPC: H04N21/234 , G06N3/045 , H04N21/44
Abstract: 本发明属于视频分析技术领域,公开了一种基于参数取值选择的视频结构化分析系统软硬协同优化方法,包括步骤1:多模块算法控制参数和实现参数集构建;基于业界主流的YOLO+byteTrack+ResNet+SIFT CDVS特征视频结构化分析系统框架,结合异构多计算平台的编码算法特点和流水约束,为各模块选择硬件实现友好的算法框架;步骤2:多模块耦合参数优化取值选择;根据流水吞吐约束,通过一定并发粒度和并发强度的控制参数配置,实现系统吞吐和硬件消耗的平衡。本发明支持六个算法模块联合优化,支持码率、计算复杂度、算法精度以及系统处理检索延时等目标性能联合优化;实现多个算法模块多目标性能联合优化。
-
公开(公告)号:CN119011840A
公开(公告)日:2024-11-22
申请号:CN202410948218.3
申请日:2024-07-16
Applicant: 杭州电子科技大学
IPC: H04N19/146 , H04N19/13 , H04N19/91 , G06T9/00 , G06N3/0464 , G06N3/0475 , G06N3/048
Abstract: 本发明属于视频编码领域,公开了一种基于人体特征紧凑表示的视频压缩方法,包括步骤1:构建人体视频压缩框架;使用人体骨架特征来表征运动,首先将提取出的骨架特征通过人体特征压缩算法压缩冗余,与参考帧一同传输到解码端;之后恢复成原骨架,与重构的参考帧一起输入到生成网络中生成预测帧;最后输入到残差优化模块中进一步提升质量;步骤2:设计人体特征压缩算法;步骤3:特征残差编码优化;首先通过特征提取器提取预测帧和原始帧的深度特征,之后计算深度特征之间的残差,输入到上下文编码器当中,在熵模型的优化下进一步降低比特率。本发明极大提高了人体骨架信息的压缩率;能够以较低的比特流生成主观与客观质量良好的重构人体视频。
-
公开(公告)号:CN118450124A
公开(公告)日:2024-08-06
申请号:CN202410585773.4
申请日:2024-05-13
Applicant: 杭州电子科技大学
IPC: H04N19/124 , H04N19/31 , H04N19/33 , H04N19/167 , H04N21/6373 , H04N21/2187 , G06V10/25 , G06V10/28 , G06V10/40
Abstract: 本发明公开了一种支持群智感知的端边云紧凑视频编码方法及系统,在云边端系统中,对单摄像头和跨摄像头语义目标图片进行优选,基于目标跟踪和图片优先,选取包含语义信息最大的语义图片框,对语义目标对象在其时域轨迹上的图片框序列进行特征提取,并将得到的紧凑特征用于语义目标对象的重构,实现视频群智语义目标紧凑编码,采集用于反馈控制的控制参量,聚焦感兴趣或语义感知相对重要的区域,用于指导多个摄像头之间协同码率分配及量化控制优化,实现视频群智多摄像头端边云协同优化编码。在针对海量摄像头视频数据进行以图搜图业务中,本发明对海量摄像头视频数据进行高效编码,支持端边云高效存储传输和分析。
-
公开(公告)号:CN115222998A
公开(公告)日:2022-10-21
申请号:CN202211120458.1
申请日:2022-09-15
Applicant: 杭州电子科技大学 , 浙江大华技术股份有限公司
Inventor: 颜成钢 , 殷俊 , 颜拥 , 王洪波 , 胡冀 , 熊剑平 , 李亮 , 郑博仑 , 林聚财 , 孔书晗 , 王亚运 , 孙垚棋 , 金恒 , 朱尊杰 , 高宇涵 , 殷海兵 , 王鸿奎 , 陈楚翘 , 刘一秀 , 李文超 , 王廷宇 , 张勇东 , 张继勇
IPC: G06V10/764 , G06V10/30 , G06V10/40 , G06V10/774 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种图像分类方法。首先构建通道维度注意力网络和空间维度多尺度自注意力网络;然后将输入图像预处理后输入通道维度注意力网络,生成基于通道维度的注意力特征图;将基于通道维度的注意力特征图输入至空间维度的多尺度自注意力网络,生成基于特征图空间维度的多尺度自注意力特征图;最后将最终生成的多维度多尺度注意力特征图输入到分类器单元中,将模型输出的向量转换成概率表示,完成图像分类。本发明设计了一种新的多尺度自注意力机制,它利用一系列的深度可分离卷积操作,生成特征信息高度相关的局部特征图和区域特征图,不但可以强化自注意力机制的细粒度特征提取能力,还可以高效的提取有效的全局信息。
-
公开(公告)号:CN118450124B
公开(公告)日:2025-02-11
申请号:CN202410585773.4
申请日:2024-05-13
Applicant: 杭州电子科技大学
IPC: H04N19/124 , H04N19/31 , H04N19/33 , H04N19/167 , H04N21/6373 , H04N21/2187 , G06V10/25 , G06V10/28 , G06V10/40
Abstract: 本发明公开了一种支持群智感知的端边云紧凑视频编码方法及系统,在云边端系统中,对单摄像头和跨摄像头语义目标图片进行优选,基于目标跟踪和图片优先,选取包含语义信息最大的语义图片框,对语义目标对象在其时域轨迹上的图片框序列进行特征提取,并将得到的紧凑特征用于语义目标对象的重构,实现视频群智语义目标紧凑编码,采集用于反馈控制的控制参量,聚焦感兴趣或语义感知相对重要的区域,用于指导多个摄像头之间协同码率分配及量化控制优化,实现视频群智多摄像头端边云协同优化编码。在针对海量摄像头视频数据进行以图搜图业务中,本发明对海量摄像头视频数据进行高效编码,支持端边云高效存储传输和分析。
-
公开(公告)号:CN118279251A
公开(公告)日:2024-07-02
申请号:CN202410342801.X
申请日:2024-03-25
Applicant: 杭州电子科技大学
IPC: G06T7/00 , G06N3/0455
Abstract: 本发明公开了一种用户生成视频质量评估方法及装置,通过构建视频质量评价模型,避免忽视过滤机制导致的评价准确性下降;通过双阈值自适应调整权重阈值策略,避免评价模型对失真信息建模能力的不足;通过视觉聚焦策略,设计全新的空域窗口,对原空域窗口进行补充,使评价模型空时域失真信息充分交互,初始阶段能够充分感知空域信息,最后阶段能够充分学习时域失真信息;在窗口注意力模块的基础上,增加基于中心凹效应的可学习窗口相对位置偏移表来表示不同窗口在全局的相对位置,避免全局位置信息的缺失,此外,在局部自注意力中设置了与面积成正比的区域面积因子,用于平衡不同面积窗口的通道组注意力权重,避免评价模型在全局建模方面的不足。
-
公开(公告)号:CN119011835A
公开(公告)日:2024-11-22
申请号:CN202410948217.9
申请日:2024-07-16
Applicant: 杭州电子科技大学
IPC: H04N19/124 , H04N19/154 , H04N19/70 , G06T9/00 , G06N3/0475 , G06N3/094
Abstract: 本发明属于视频图像压缩领域,公开了一种适用于机器视觉任务的恰可识别失真预测模型及方法,包括JRD图像生成网络G、判别网络D和残差引导JRD回归网络R;所述JRD图像生成网络G以未压缩的原图像作为输入,以假JRD图像作为输出;之后,将生成图像与原始图像的残差作为对原图的补偿信息一起输入残差引导JRD回归网络R,最终输出预测的JRD分数,其中判别网络D以对抗的方式与生成网络G一起训练,以帮助G产生更接近真JRD图像的生成结果。在本发明提出的无参考模型中,原图像不需要进行若干次的压缩编解码,使预测效率大大提升。同时,在回归网络中,生成图像的残差作为补充信息被输入,使模型最终预测结果更加准确可靠。
-
公开(公告)号:CN118537384A
公开(公告)日:2024-08-23
申请号:CN202410592852.8
申请日:2024-05-14
Applicant: 杭州电子科技大学
IPC: G06T7/50 , G06N3/0464 , G06N3/0455 , G06N3/0495
Abstract: 本发明属于深度估计技术领域,公开了一种异构多尺度事件相机单目深度估计优化方法,包括如下步骤:步骤1:异构多尺度事件相机单目深度估计优化模型;步骤2:异构数据匹配优化;步骤3:构建异构特征学习模型。本发明提出了异构多尺度事件相机单目深度估计优化模型,在研究事件相机单目深度估计模型优化的基础上,提出了异构数据匹配优化模型,解决了事件相机传感器与彩色相机传感器数据特征、结构迥异的问题;提出了异构数据学习模型,解决了异构数据特征不匹配的问题、学习约束过大导致部分通道产生负面效果的问题,为深度估计行业方案提供技术选择。
-
公开(公告)号:CN118337639B
公开(公告)日:2025-03-18
申请号:CN202410592683.8
申请日:2024-05-14
Applicant: 杭州电子科技大学
IPC: H04L41/14 , H04L43/0894
Abstract: 本发明公开了一种端边云协同视频群智感知多目标性能评价方法,基于码率度量码流数据传输代价,基于码率和相应存储架构度量码流数据存储代价,基于硬件资源和能量资源的消耗度量复杂度代价;将存储、传输和复杂度代价基于消耗的成本进行同质化度量,得到统一量纲度量的参量;计算和存储静态硬件成本折算为每一路摄像头视频所需计算和存储硬件代价;计算和存储动态能耗成本折算为每一路摄像头视频编码分析所需电力消耗代价;传输存储代价根据宽带网络费用折算为每路视频传输所需成本,所有成本基于货币进行度量;基于失真和无失真情况下的多目标性能,构建机器视觉算法性能损失,通过性能损失与所述参量构建代价函数,以不同参量下性能的优劣为判据进行多目标性能评价。
-
-
-
-
-
-
-
-
-