-
公开(公告)号:CN113536926B
公开(公告)日:2024-12-10
申请号:CN202110659972.1
申请日:2021-06-15
Applicant: 杭州电子科技大学
IPC: G06V40/20 , G06V10/40 , G06V10/764 , G06V10/80 , G06V10/84 , G06N3/0442 , G06N3/08
Abstract: 本发明公开了一种基于距离向量和多角度自适应网络的人体动作识别方法。本发明步骤如下:利用Openpose工具对数据集中视频的每一帧进行人体骨骼点检测来生成带有骨骼点坐标以及骨骼点名称的视频数据集2;将视频数据集2输入到多角度自适应网络中,利用LSTM网络以及卷积网络自动学习确定转变到最佳视角所需要的旋转参数与位移;根据旋转参数与位移,将骨骼点坐标转化成最佳视角下的骨骼点坐标;计算最佳视角下骨骼点之间的距离向量,包括空间距离与方向;将最佳视角下的骨骼点坐标、动作类别名称以及骨骼点之间的距离向量输入到时空图卷积网络中;时空图卷积网络学习时间与空间的特征,对最终动作类别进行判断。本发明具有很好的鲁棒性与精确度。
-
公开(公告)号:CN113536926A
公开(公告)日:2021-10-22
申请号:CN202110659972.1
申请日:2021-06-15
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于距离向量和多角度自适应网络的人体动作识别方法。本发明步骤如下:利用Openpose工具对数据集中视频的每一帧进行人体骨骼点检测来生成带有骨骼点坐标以及骨骼点名称的视频数据集2;将视频数据集2输入到多角度自适应网络中,利用LSTM网络以及卷积网络自动学习确定转变到最佳视角所需要的旋转参数与位移;根据旋转参数与位移,将骨骼点坐标转化成最佳视角下的骨骼点坐标;计算最佳视角下骨骼点之间的距离向量,包括空间距离与方向;将最佳视角下的骨骼点坐标、动作类别名称以及骨骼点之间的距离向量输入到时空图卷积网络中;时空图卷积网络学习时间与空间的特征,对最终动作类别进行判断。本发明具有很好的鲁棒性与精确度。
-
公开(公告)号:CN111507185A
公开(公告)日:2020-08-07
申请号:CN202010168176.3
申请日:2020-03-11
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于堆叠空洞卷积网络的摔倒检测方法。本发明步骤进行:1、准备摔倒行为训练集;2、通过目标检测算法提取摔倒行为的人物个体,得到新的训练集;3、将训练集的每个人物个体制作关节点热图,并且根据训练集人工定义的摔倒行为的骨骼点分布;4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络;5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像,得到骨骼点的分布结果;将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算,若小于阈值,则判定为摔倒行为。本发明能够在复杂的环境下实时检测摔倒行为,具有较好的鲁棒性。
-
公开(公告)号:CN111507184B
公开(公告)日:2021-02-02
申请号:CN202010167700.5
申请日:2020-03-11
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明实现:下载人体姿态数据集,获取训练数据集;根据目标检测算法对训练数据集中的每张图片提取人物个体,获取只包含人物个体的训练图像;根据人体姿态数据集中提供的骨骼点坐标,制作训练图像的骨骼点热图;采用构建关联集合的方法来构建身体结构约束损失模块,采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络。本发明采用并联空洞卷积网络防止因重复上下采样而造成信息损失,同时还对损失函数进行改进,考虑骨骼点之间的关联性,在复杂环境下能较好的提取特征,获得更好的人体姿态检测效果。
-
公开(公告)号:CN111507185B
公开(公告)日:2020-11-24
申请号:CN202010168176.3
申请日:2020-03-11
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于堆叠空洞卷积网络的摔倒检测方法。本发明步骤进行:1、准备摔倒行为训练集;2、通过目标检测算法提取摔倒行为的人物个体,得到新的训练集;3、将训练集的每个人物个体制作关节点热图,并且根据训练集人工定义的摔倒行为的骨骼点分布;4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络;5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像,得到骨骼点的分布结果;将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算,若小于阈值,则判定为摔倒行为。本发明能够在复杂的环境下实时检测摔倒行为,具有较好的鲁棒性。
-
公开(公告)号:CN111507184A
公开(公告)日:2020-08-07
申请号:CN202010167700.5
申请日:2020-03-11
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明实现:下载人体姿态数据集,获取训练数据集;根据目标检测算法对训练数据集中的每张图片提取人物个体,获取只包含人物个体的训练图像;根据人体姿态数据集中提供的骨骼点坐标,制作训练图像的骨骼点热图;采用构建关联集合的方法来构建身体结构约束损失模块,采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络。本发明采用并联空洞卷积网络防止因重复上下采样而造成信息损失,同时还对损失函数进行改进,考虑骨骼点之间的关联性,在复杂环境下能较好的提取特征,获得更好的人体姿态检测效果。
-
-
-
-
-