公开(公告)号：CN117197888A

公开(公告)日：2023-12-08

申请号：CN202311005516.0

申请日：2023-08-10

Applicant: 中国科学技术大学

Inventor： 周颢 ,  吕梦霞 ,  宋增宇 ,  李向阳

IPC: G06V40/20 ,  G06V10/40 ,  G06V10/764 ,  G06V10/77 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  H04B7/06 ,  H04W84/12

Abstract: 本发明公开了一种基于IMU WiFi的热部署跨模式步态识别系统及方法，系统包括：步态特征提取单元，能根据从惯性测量单元获取的原始IMU数据结合扩展卡尔曼滤波进行姿态计算求解得出补偿漂移误差的姿态，进行减少踝部IMU漂移和抑制腰部IMU漂移的处理分别得出足迹和躯干速度曲线，从足迹和躯干速度曲线中提取基于IMU的步态特征向量并保存到特征数据库中；步态识别单元，能接收WiFi信号的CSI数据并通过自适应PCA方法消除CSI数据的高频噪声，用CSI数据生成频谱图并从中提取基于WiFi的步态特征向量，通过预先训练好的分类神经网络模型将基于WiFi的步态特征向量与基于IMU的步态特征向量比较，根据比较结果识别步行者的身份。该系统能实现跨模式步态的准确识别。

公开(公告)号：CN118552978A

公开(公告)日：2024-08-27

申请号：CN202410640749.6

申请日：2024-05-22

Applicant: 中国科学技术大学

Inventor： 周颢 ,  吕梦霞 ,  李向阳

IPC: G06V40/10 ,  G06V40/20 ,  G06V10/774 ,  G06V10/44 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0495

Abstract: 本发明公开一种跨模态腕戴设备的多任务手势识别系统及方法，系统包括：适用多个手势识别任务的特征编码器，能从用户佩戴腕戴设备收集的无标签任意手势数据中获取任务无关信息，并对IMU模态特征和视觉模态特征进行对齐且增强得到通用IMU模态特征与通用视觉模态特征；轻量级Transformer融合模型，与特征编码器通信连接，能以适用多个手势识别任务的特征编码器输成的通用IMU模态特征和通用视觉模态特征为输入，通过对通用IMU模态特征和通用视觉模态特征进行特征融合后得到融合特征，再经多层感知器对融合特征预测得到预测结果。该系统及方法能实现融合IMU模态与视觉模态准确识别用户手势，并能大幅减少系统的训练时间和存储空间。