一种融合时空双重网络流和attention机制的人体行为识别方法

    公开(公告)号:CN107609460B

    公开(公告)日:2021-02-02

    申请号:CN201710372110.4

    申请日:2017-05-24

    Abstract: 本发明公开了一种融合时空双重网络流和attention机制的人体行为识别方法,提取运动光流特征,生成光流特征图像;构建独立的时间流和空间流网络,生成两段具有显著结构性的高层语义特征序列;解码时间流高层语义特征序列,输出时间流视觉特征描述子,并输出attention显著性特征图序列,同时输出空间流视觉特征描述子以及视频窗口每一帧的标签概率分布;计算每一帧时间维attention置信度得分系数,加权空间流视频窗口每一帧的标签概率分布,选择视频窗口关键帧;利用softmax分类器决策识别出视频窗口的人体行为动作类别。相比现有技术,本发明能有效关注原始视频中外观图像的关键帧,同时又能选择即得关键帧空间显著性区域特征,其识别准确度较高。

    一种基于深度递归分层条件随机场的人体行为识别方法

    公开(公告)号:CN105740815B

    公开(公告)日:2018-12-18

    申请号:CN201610064349.0

    申请日:2016-01-29

    Abstract: 本发明公开了一种基于深度递归分层条件随机场的人体行为识别方法,首先,分别提取由RGB‑D摄像机拍摄行为动作场景的RGB‑D视频中行为动作主体的人体姿态和可能与其相互交互的物体信息,将这两种信息作为深度递归分层条件随机场的中间层状态,建模预测输出目标状态层中当前状态和当前所有已发生的预测输出状态集合的相关性,构建深度递归分层条件随机场模型;其次,采用BCFW优化方法驱动的结构化支持向量机分类器学习关于人体行为序列的判别分类模型;最后,根据学习得到的模型参数和即得判别模型预测待测试的人体行为序列的类别。本发明对行为动作具有显著的鲁棒性,在一定程度上提高了人体行为动作的识别准确度。

    一种融合时空双重网络流和attention机制的人体行为识别方法

    公开(公告)号:CN107609460A

    公开(公告)日:2018-01-19

    申请号:CN201710372110.4

    申请日:2017-05-24

    Abstract: 本发明公开了一种融合时空双重网络流和attention机制的人体行为识别方法,提取运动光流特征,生成光流特征图像;构建独立的时间流和空间流网络,生成两段具有显著结构性的高层语义特征序列;解码时间流高层语义特征序列,输出时间流视觉特征描述子,并输出attention显著性特征图序列,同时输出空间流视觉特征描述子以及视频窗口每一帧的标签概率分布;计算每一帧时间维attention置信度得分系数,加权空间流视频窗口每一帧的标签概率分布,选择视频窗口关键帧;利用softmax分类器决策识别出视频窗口的人体行为动作类别。相比现有技术,本发明能有效关注原始视频中外观图像的关键帧,同时又能选择即得关键帧空间显著性区域特征,其识别准确度较高。

    一种基于深度递归分层条件随机场的人体行为识别方法

    公开(公告)号:CN105740815A

    公开(公告)日:2016-07-06

    申请号:CN201610064349.0

    申请日:2016-01-29

    CPC classification number: G06K9/00335 G06K9/6217

    Abstract: 本发明公开了一种基于深度递归分层条件随机场的人体行为识别方法,首先,分别提取由RGB?D摄像机拍摄行为动作场景的RGB?D视频中行为动作主体的人体姿态和可能与其相互交互的物体信息,将这两种信息作为深度递归分层条件随机场的中间层状态,建模预测输出目标状态层中当前状态和当前所有已发生的预测输出状态集合的相关性,构建深度递归分层条件随机场模型;其次,采用BCFW优化方法驱动的结构化支持向量机分类器学习关于人体行为序列的判别分类模型;最后,根据学习得到的模型参数和即得判别模型预测待测试的人体行为序列的类别。本发明对行为动作具有显著的鲁棒性,在一定程度上提高了人体行为动作的识别准确度。

Patent Agency Ranking