基于特征空间变化的蒸馏学习方法、系统、装置

    公开(公告)号:CN110135562B

    公开(公告)日:2020-12-01

    申请号:CN201910360632.1

    申请日:2019-04-30

    Abstract: 本发明属于计算机视觉及机器学习领域,具体涉及了一种基于特征空间变化的蒸馏学习方法、系统、装置,旨在解决学生网络无法学习教师网络全局知识的问题。本发明方法包括:按照蒸馏学习教师网络的参数结构构建对应的学生网络;分别选取预设的网络层,计算每一层的特征空间表示以及特定两个层间的跨层特征空间变化矩阵;计算基于特征空间变化的损失函数,根据真实标签计算分类损失函数;通过两个损失函数的加权将教师网络的特征空间变化作为知识迁移到学生网络中。本发明将教师网络层与层之间的特征空间变化刻画为一种新的知识,从而,使得学生网络在学习层与层之间的特征空间变化时,就学习到整个教师网络全局的知识。

    深度卷积神经网络的压缩方法及系统

    公开(公告)号:CN111612143A

    公开(公告)日:2020-09-01

    申请号:CN202010440475.8

    申请日:2020-05-22

    Abstract: 本发明涉及一种深度卷积神经网络的压缩方法及系统,所述压缩方法包括:根据滤波器重要性选择方式和/或模型压缩率,确定待压缩深度卷积神经网络中不重要的滤波器;对不重要的滤波器施加渐进式稀疏约束,作为正则项加入到网络训练的损失函数中,得到优化损失函数;根据正则项,采用阈值迭代算法及反向传播算法联合求解,得到待压缩深度卷积神经网络的更新参数;基于所述优化损失函数及更新参数,获得具有滤波器稀疏形式的卷积神经网络模型;利用结构化剪枝算法,对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝,得到网络精度较高的压缩后的卷积神经网络模型。

    基于图卷积网络的人体骨架行为识别方法、系统、装置

    公开(公告)号:CN110222611A

    公开(公告)日:2019-09-10

    申请号:CN201910446596.0

    申请日:2019-05-27

    Abstract: 本发明属于计算机视觉及深度学习领域,具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置,旨在解决基于图卷积神经网络的人体骨架行为识别结果精度不高的问题。本发明方法包括:获取骨架视频帧并归一化;构建每一帧图对应的人体关节自然连接图;学习非自然连接边,获得人体关节连接图;为人体关节连接图各条边分配权重值;进行图卷积操作,获得骨架序列的空间信息;在时间维度上进行卷积操作,获得骨架序列的行为类别。本发明自然连接边能够学习到基本的人体行为特征,同时非自然连接边可以学习到附加的行为特征,通过自然连接边和非自然连接边共同构成一张图,可以更加充分的表征人体运动信息,提高识别性能。

    基于跨模型泛化和扩散模型的数据集蒸馏方法和装置

    公开(公告)号:CN119904715A

    公开(公告)日:2025-04-29

    申请号:CN202510125811.2

    申请日:2025-01-27

    Abstract: 本公开涉及一种基于跨模型泛化和扩散模型的数据集蒸馏方法和装置,所述方法包括:获取与目标数据集的应用场景对应的多种图像处理模型,得到模型池;从模型池中选择得到替代图像处理模型;将当前样本的特征和针对当前样本的提示词输入到扩散模型,得到替代样本;将替代样本输入到替代图像处理模型,得到替代图像处理模型的当前输出;其中,目标图像处理模型与替代图像处理模型同构;基于替代图像处理模型的当前输出和目标图像处理模型的当前输出,计算目标图像处理模型与替代图像处理模型之间的梯度匹配损失;基于梯度匹配损失对扩散模型进行训练;响应于训练完成,得到对目标数据集蒸馏后的替代数据集。

    基于时空域实例增强的视频复制片段定位方法及装置

    公开(公告)号:CN119206580A

    公开(公告)日:2024-12-27

    申请号:CN202411294779.2

    申请日:2024-09-14

    Abstract: 本发明提供一种基于时空域实例增强的视频复制片段定位方法及装置,其中方法包括:提取查询视频和参考视频中目标帧的区域特征和全局特征,并基于所述区域特征和所述全局特征构造实例关系图;基于所述实例关系图,分别通过空间分支和时间分支获取局部对齐信息和全局对齐信息;通过互补性感知对齐模块,基于所述局部对齐信息和所述全局对齐信息生成最终的帧间对齐结果;所述帧间对齐结果用于所述查询视频和所述参考视频的复制片段定位。其综合考虑了全局语义信息和细粒度的更加鲁棒的局部表示,提升查询视频和参考视频中视频帧的匹配精度,还可以提升查询视频和参考视频中复制片段匹配结果的准确性。

    基于分解和剪枝的卷积神经网络压缩方法、系统、装置

    公开(公告)号:CN110782019A

    公开(公告)日:2020-02-11

    申请号:CN201911029615.6

    申请日:2019-10-28

    Abstract: 本发明属于人工智能领域,具体涉及一种基于分解和剪枝的卷积神经网络压缩方法、系统、装置,旨在解决采用低秩近似分解或结构化稀疏剪枝进行卷积神经网络压缩,导致压缩力度较小的问题。本系统方法包括将每个待压缩的卷积层后面添加一层系数矩阵表示层;通过低秩近似分解算法对系数矩阵表示层进行稀疏处理,并根据系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理;采用结构化稀疏剪枝方法对分解后的系数矩阵表示层进行稀疏处理,并根据系数矩阵表示层稀疏的位置对其滤波器进行剪枝处理;对稀疏剪枝处理后的卷积神经网络进行训练。本发明通过将低秩近似分解和结构化稀疏剪枝两种方法融合,解决了单一方法引起的缺陷,提高了压缩力度。

Patent Agency Ranking