公开(公告)号：CN117315137A

公开(公告)日：2023-12-29

申请号：CN202311137288.2

申请日：2023-09-05

Applicant: 武汉大学

Inventor： 涂志刚 ,  黄志胜 ,  张嘉旭 ,  谢伟 ,  明均仁

IPC: G06T17/00 ,  G06T15/04 ,  G06V40/20 ,  G06V10/46 ,  G06V10/82 ,  G06N3/0895

Abstract: 本发明公开了一种基于自监督学习的单目RGB图像手势重建方法及系统，首先从RGB图像和视频中提取2D人手关键点检测结果，作为伪标签；然后改进参数化人手模型，注入符合人手运动学规律的姿态先验；接着构建3D人手重建网络和2D关键点检测器网络；最后针对图像和视频训练数据以及的2D关键点伪标签，对3D人手重建网络和可训练的2D关键点检测器设置自监督信号，训练手势估计网络，基于训练结果实现单目RGB图像手势重建。本发明解决了单目RGB图像手势姿态估计，光照纹理估计，自监督信号提取等难点问题。具有可使用广泛的无标签图像和视频数据，精度高，效率高，泛化性强使用面广等优点。

公开(公告)号：CN114882581A

公开(公告)日：2022-08-09

申请号：CN202210301482.9

申请日：2022-03-24

Applicant: 武汉大学

Inventor： 涂志刚 ,  张嘉旭

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/62 ,  G06V10/30 ,  G06V10/24 ,  G06T17/00

Abstract: 本发明公开了一种面向噪声骨架数据的数据增强与人体动作识别方法，首先进行针对RGB视频提取的噪声骨架数据的数据增强，包括对2D噪声骨架数据进行归一化与数据对齐，计算时间一阶差分作为相邻帧节点运动幅度，将噪声帧相应节点坐标置零，对2D骨架节点恢复得到3D骨架节点序列；然后进行多流的高精度骨架人体动作识别，包括对3D骨架节点序列计算时间一阶差分得到相邻帧的节点运动幅度，对恢复出的3D骨架节点序列计算空间一阶差分得到骨骼向量，将3D骨架节点序列、3D节点运动幅度序列、3D骨骼向量序列作为三种不同的输入流，并行输入骨骼行为识别模型中进行处理；对这三个网络流输出的分类结果采取后融合的方式，作为最终的骨架动作分类结果。

公开(公告)号：CN114882581B

公开(公告)日：2024-07-26

申请号：CN202210301482.9

申请日：2022-03-24

Applicant: 武汉大学

Inventor： 涂志刚 ,  张嘉旭

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/62 ,  G06V10/30 ,  G06V10/24 ,  G06T17/00

Abstract: 本发明公开了一种面向噪声骨架数据的数据增强与人体动作识别方法，首先进行针对RGB视频提取的噪声骨架数据的数据增强，包括对2D噪声骨架数据进行归一化与数据对齐，计算时间一阶差分作为相邻帧节点运动幅度，将噪声帧相应节点坐标置零，对2D骨架节点恢复得到3D骨架节点序列；然后进行多流的高精度骨架人体动作识别，包括对3D骨架节点序列计算时间一阶差分得到相邻帧的节点运动幅度，对恢复出的3D骨架节点序列计算空间一阶差分得到骨骼向量，将3D骨架节点序列、3D节点运动幅度序列、3D骨骼向量序列作为三种不同的输入流，并行输入骨骼行为识别模型中进行处理；对这三个网络流输出的分类结果采取后融合的方式，作为最终的骨架动作分类结果。

公开(公告)号：CN116468948A

公开(公告)日：2023-07-21

申请号：CN202310438408.6

申请日：2023-04-23

Applicant: 武汉大学

Inventor： 涂志刚 ,  朱立远 ,  古昊 ,  张嘉旭 ,  谢伟 ,  李红艳

IPC: G06V10/764 ,  G06V10/762 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/0985

Abstract: 本发明提供一种支持检测未知类的城市垃圾增量学习检测方法及系统，在Faster‑RCNN检测模型基础上优化特征提取与特征利用，包括设置金字塔特征结构获得多尺度特征，对特征做通道注意力修正，通过修正突出图像特征重点区域，抑制不明显特征，获得垃圾检测基础模型；在垃圾检测基础模型的基础上，建立可持续增量注册学习模型；在可持续增量注册学习模型基础上，设置支持检测未知类别网络结构，稳定地识别未知类别的城市垃圾；支持将未知输出结果作为补充，进行增量注册学习，实现闭环。本发明提升检测精度；实现模型可持续注册增量学习，使用新数据注册新检测类别，不接触旧数据同时不产生知识遗忘；能够检测未知类别，对训练数据中不存在类别产出有效检测。

公开(公告)号：CN118379402A

公开(公告)日：2024-07-23

申请号：CN202410064540.X

申请日：2024-01-16

Applicant: 武汉大学

Inventor： 王坤 ,  涂志刚 ,  张嘉旭

IPC: G06T13/40 ,  G06V40/10 ,  G06V10/762 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/084

Abstract: 本申请公开了一种基于运动先验的文本驱动动作生成方法。本申请所公开方法中，获取文本特征，文本特征来源于包含动作信息的输入文本，再根据文本特征和预置的人体姿态，获得预选动作；以预选动作，对由文本特征输入至运动先验模型所生成运动序列进行优化，生成文本驱动动作。由此，提高了文本驱动的人体动作更具逼真度和多样性。

公开(公告)号：CN116580452A

公开(公告)日：2023-08-11

申请号：CN202310438407.1

申请日：2023-04-23

Applicant: 武汉大学

Inventor： 涂志刚 ,  古昊 ,  张正博 ,  张嘉旭 ,  谢伟 ,  李红艳

IPC: G06V40/20 ,  G06V40/10 ,  G06V20/52 ,  G06V20/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种结合动作识别和目标检测的抽烟、打电话检测方法及系统，通过监控摄像头采集监控场景的视频数据；对所述视频数据切割为短时间视频片段，对视频中的人员进行动作标注；将视频片段转成视频帧，对每张视频帧标注人体关键点坐标、烟坐标和手机坐标，得到模型训练数据集；建立YOLOv5‑S目标检测网络模型，然后利用构建好的数据集对2D人体关键点检测网络、3D人体姿态估计模型和YOLOv5‑S目标检测网络模型进行训练，得到训练好的各个网络模型的权重；最后将监控场所的监控视频输入训练好的网络模型，确定视频片段中是否发生抽烟、打电话的行为。本发明有效的提高抽烟、打电话事件检测的精确度，同时降低事件的漏检率。