公开(公告)号：CN115294656A

公开(公告)日：2022-11-04

申请号：CN202211013101.3

申请日：2022-08-23

Applicant: 南京邮电大学

Inventor： 韩崇 ,  李帮杰 ,  孙力娟 ,  郭剑 ,  薛景 ,  王娟

IPC: G06V40/20 ,  G06V10/22 ,  G06V10/774 ,  G06V10/82 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08 ,  G01S13/72 ,  G01S13/86

Abstract: 一种基于FMCW雷达的手部关键点追踪方法，针对目前利用光学摄像头进行手部关键点追踪的方法所存在的受光线条件制约以及隐私泄露等问题，利用跨模态监督的方法，在训练中将摄像头和雷达获取的图像与数据作为神经网络的输入，同步雷达数据与视频流，从视频流中提取手部的关键点信息进行预处理，将其作为经过神经网络处理后的射频信号的监控。经过训练后的系统，只需要使用射频信号作为输入就可以实现对手部关键点追踪的输出。通过上述方式，本方法能够实现在保护个人隐私且不考虑光照条件的情况下提升对手势识别的准确度，具有鲁棒性强，稳定性、实时性、高效性的特点。