-
公开(公告)号:CN115035595A
公开(公告)日:2022-09-09
申请号:CN202210624609.0
申请日:2022-06-02
Applicant: 西北大学
IPC: G06V40/20 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/77 , G06V10/774 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于时空信息转移知识蒸馏技术的3D模型压缩方法,该方法采用多层特征蒸馏模块MFDM作为3D模型的核心元件,对行为识别网络进行模型压缩,采用包含多种动作类和多视频段公开数据集作为实验数据集,从数据集中的各个行为视频片段等间隔的取出部分帧分别作为时空特征蒸馏方法中教师模型和学生模型的输入进行特征提取;提取出每一层的特征,对每一层特征进行多层次特征蒸馏算法,并算出多层时空特征转移损失;将最后一层的特征放入分类其中,进行分类,得出logistic回归概率,分别将其与教师模型生成的软标签和真实标签算出损失函数;最后根据总体的损失函数,通过反向传播更新学生模型的所有参数,同时更新多层特征蒸馏模块的参数。
-
公开(公告)号:CN118230353A
公开(公告)日:2024-06-21
申请号:CN202410254647.0
申请日:2024-03-06
Applicant: 西北大学
IPC: G06V40/10 , G06V10/774 , G06V10/80 , G06V10/82 , G06V10/764 , G06V20/40
Abstract: 本发明公开了一种基于视频片段预测与微调后的金丝猴动作识别方法,在动作识别前先进行视频片段顺序预测工作,通过对多个片段的特征进行全排列,考虑了所有可能的顺序组合,能够更全面地探索不同片段之间的关系,并且能够捕捉到一些可能被忽略的重要信息,通过全排列和MLP,能够有效避免信息丢失。本方法还提出了一种新的损失函数组合策略,将A‑Softmax和ArcFace两个损失函数进行加权融合,作为本方法最终的损失函数,能够更好地捕捉到类别之间的边界信息,从而提高分类的准确性。A‑Softmax和ArcFace损失函数通过引入额外的参数约束,能够提高模型对于异常样本和数据不平衡情况的鲁棒性和稳定性,适于工业上大规模使用与推广。
-
公开(公告)号:CN114783054B
公开(公告)日:2024-03-26
申请号:CN202210300680.3
申请日:2022-03-24
Applicant: 西北大学
IPC: G06V40/20 , G06V10/26 , G06V20/40 , G06V10/82 , G06N3/0464 , G06N3/084 , H04B17/309
Abstract: 本发明公开了一种基于的无线和视频特征融合的步态识别方法,该方法包括:使用视频采集设备获取行人步态识别视频数据,对视频帧利用分割网络获得高质量的行人轮廓图序列,对轮廓图进行标准化裁剪操作处理成统一格式,然后使用基于时间空间的深度神经网络获取行人的视频特征;使用普通商用无线信号设备,一端发送物理层信道状态信息CSI数据,另外一端接收,对CSI数据进行去噪以及归一化预处理,用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取;最后将提取到的无线和视频的特征进行融合,进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别,相对于现有的相关技术,具有更好的鲁棒性,更加适合多变的复杂场景。
-
-