公开(公告)号：CN114627490B

公开(公告)日：2024-10-18

申请号：CN202111535889.X

申请日：2021-12-15

Applicant: 浙江工商大学

Inventor： 杨文武 ,  蔡佳航

IPC: G06V40/10 ,  G06T7/70 ,  G06V10/82 ,  G06N3/0464 ,  G01C21/16

Abstract: 本发明公开了一种基于惯性传感器与多功能相机的多人姿态估计方法，一种基于惯性传感器与多功能相机的多人姿态估计方法，包括以下步骤：S1，对多目标人物进行红外油墨标注；S2，拍摄获取多视角图像；S3，重建出人体3D姿态；S4，优化得到所有目标人物的精确3D姿态。利用多功能相机中的红外功能得到多个目标人物的标签，根据目标人物与惯性传感器的匹配关系，从惯性传感器中提取出目标人物对应关节的朝向信息，建立人体运动学模型，利用关节朝向信息，优化运动参数并根据优化后的运动参数计算出更加准确的目标人物的三维姿态，显著提高多人三维姿态估计的准确性。

公开(公告)号：CN114627490A

公开(公告)日：2022-06-14

申请号：CN202111535889.X

申请日：2021-12-15

Applicant: 浙江工商大学

Inventor： 杨文武 ,  蔡佳航

IPC: G06V40/10 ,  G06T7/70 ,  G06N3/04 ,  G01C21/16

Abstract: 本发明公开了一种基于惯性传感器与多功能相机的多人姿态估计方法，一种基于惯性传感器与多功能相机的多人姿态估计方法，包括以下步骤：S1，对多目标人物进行红外油墨标注；S2，拍摄获取多视角图像；S3，重建出人体3D姿态；S4，优化得到所有目标人物的精确3D姿态。利用多功能相机中的红外功能得到多个目标人物的标签，根据目标人物与惯性传感器的匹配关系，从惯性传感器中提取出目标人物对应关节的朝向信息，建立人体运动学模型，利用关节朝向信息，优化运动参数并根据优化后的运动参数计算出更加准确的目标人物的三维姿态，显著提高多人三维姿态估计的准确性。

公开(公告)号：CN115147676A

公开(公告)日：2022-10-04

申请号：CN202210724589.4

申请日：2022-06-23

Applicant: 浙江工商大学

Inventor： 董建锋 ,  孙圣凯 ,  陈书界 ,  王勋 ,  刘宝龙 ,  蔡佳航 ,  杨文武

IPC: G06V10/774 ,  G06V10/74 ,  G06V10/82 ,  G06V40/20 ,  G06N3/04

Abstract: 本发明公开了一种基于层级多视角的自监督动作识别方法及装置，该方法包括：先是对比学习的预训练阶段，原始数据通过数据增强和重组分别通过key编码器和query编码器提取特征构造正负样本。特征提取时通过视角生成模块得到不同尺度的子视角，分别通过Transformer编码、聚合、拼接后得到时间特征、空间特征以及两者的组合：时空特征。时空特征通过对比损失达到拉近正样本、推远负样本的目标以获取特征表示能力。通过时间特征和空间特征间的一致性损失拉近不同视角间的特征距离。本发明是骨架动作识别领域一种新颖的层级化视角的建模方法，可以深入挖掘不同视角间的互补信息，能够实现比现有方法性能更好的骨架动作识别。