公开(公告)号：CN115661921A

公开(公告)日：2023-01-31

申请号：CN202211244646.5

申请日：2022-10-12

Applicant: 中国矿业大学

Inventor： 郝敬宾 ,  梁赐 ,  刘新华 ,  华德正 ,  孙晓凯 ,  丁梦森 ,  刘晓帆 ,  周皓 ,  王晴晴

IPC: G06V40/20 ,  G06V10/12 ,  G06V10/22 ,  G06V10/75

Abstract: 本发明公开了一种基于域控制器的座舱手势识别装置和手势识别方法，包括中央计算机、多个深度摄像头、座舱中各执行元件以及用于连接各摄像头和中控计算机的传输网络、用以连接中央计算机和执行元件之间的传输网络，手势识别方法包括通过主驾驶手势识别摄像头、副驾驶手势识别摄像头、后排乘客手势识别摄像头实时接收不同行车人员的影像传输至中央计算机；基于深度学习算法，当识别到手部出现时获取手掌及每个手指节点的坐标信息形成手势数据；通过计算并比较关键手指节点连线的向量角大小，得到手势信息；匹配不同手势信息得到不同的命令信号，传输到相应的执行元件中在执行任务。

公开(公告)号：CN117218716A

公开(公告)日：2023-12-12

申请号：CN202311005673.1

申请日：2023-08-10

Applicant: 中国矿业大学

Inventor： 孙晓凯 ,  郝敬宾 ,  刘新华 ,  华德正 ,  梁赐 ,  曹戎格 ,  徐通 ,  刘晓帆 ,  周皓

IPC: G06V40/20 ,  G06V20/64 ,  G06V10/20 ,  G06V10/40 ,  G06V10/80 ,  G06F3/01 ,  G06V10/82 ,  G06N3/0442

Abstract: 本发明公开了一种基于DVS的汽车座舱手势识别系统及方法，所述系统包括：依次连接的感知层、决策层、执行层；其中感知层利用DVS采集用户手势图像；决策层通过算法处理模块、输出模块对手势图像信号进行分类处理；执行层通过反馈模块执行手势命令；所述方法以DVS采集手势数据，将图像信号传送给算法处理模块进行处理，提取深度信息与三维手部骨架特征进行多模态融合，经输出模块算法校验、信号分析、模型验证后输出信号到执行层，反馈模块执行命令；本发明系统与方法能够过滤用户不同个体的手势习惯差异且能解决识别精度与速度不高的问题。

公开(公告)号：CN119600678A

公开(公告)日：2025-03-11

申请号：CN202411565883.0

申请日：2024-11-05

Applicant: 中国矿业大学

Inventor： 杜沁 ,  郝敬宾 ,  梁赐 ,  刘新华 ,  华德正 ,  孙晓凯 ,  曹戎戈 ,  徐通

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V10/77 ,  G06N3/082 ,  G06N3/0464

Abstract: 本发明公开了一种双网络融合的驾驶员手势识别监测方法，通过引入Res‑CBAM结构对YOLOv7网络进行改进，增强对座舱内手势特征的识别能力；改进后的网络结构在自采集的座舱域手势数据集上进行训练。本发明提出基于L1正则化稀疏训练的BN层通道剪枝方法和基于层自适应稀疏化的非结构化剪枝方法LAMP，以达到预定的全局稀疏性水平；剪枝后，模型通过微调训练恢复性能，并使用验证集进行性能验证。

公开(公告)号：CN117351557A

公开(公告)日：2024-01-05

申请号：CN202311035586.0

申请日：2023-08-17

Applicant: 中国矿业大学

Inventor： 郝敬宾 ,  丁梦森 ,  刘新华 ,  华德正 ,  孙晓凯 ,  梁赐 ,  刘晓帆 ,  周皓 ,  王晴晴

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06V10/766 ,  G06T7/80 ,  G06F3/01

Abstract: 本发明公开了一种深度学习的车载手势识别方法，包括实时跟踪手势，并获取操作人的手势图像；基于Faster‑RCNN算法对动态手势进行识别；基于结合注意力机制优化的三维卷积神经网络手势识别用户的手势指令，将其传输给车载控制器达到控制车辆的作用。本发明使用Faster‑RCNN的锚框生成方法和ROI池化方法，实现动态手势动作的时间区间的分类和回归，实现对图像数据序列中动态手势时间区间的定位检测，相比传统的提取手势识别可以准确判断手势指令发生的时间和位置；基于三维卷积神经网络的动态手势识别，构建了动态手势识别模型，实现动作手势的识别任务。

公开(公告)号：CN117218716B

公开(公告)日：2024-04-09

申请号：CN202311005673.1

申请日：2023-08-10

Applicant: 中国矿业大学

Inventor： 孙晓凯 ,  郝敬宾 ,  刘新华 ,  华德正 ,  梁赐 ,  曹戎格 ,  徐通 ,  刘晓帆 ,  周皓

IPC: G06V40/20 ,  G06V20/64 ,  G06V10/20 ,  G06V10/40 ,  G06V10/80 ,  G06F3/01 ,  G06V10/82 ,  G06N3/0442

Abstract: 本发明公开了一种基于DVS的汽车座舱手势识别系统及方法，所述系统包括：依次连接的感知层、决策层、执行层；其中感知层利用DVS采集用户手势图像；决策层通过算法处理模块、输出模块对手势图像信号进行分类处理；执行层通过反馈模块执行手势命令；所述方法以DVS采集手势数据，将图像信号传送给算法处理模块进行处理，提取深度信息与三维手部骨架特征进行多模态融合，经输出模块算法校验、信号分析、模型验证后输出信号到执行层，反馈模块执行命令；本发明系统与方法能够过滤用户不同个体的手势习惯差异且能解决识别精度与速度不高的问题。