基于稀疏图因果时序编码的自监督群体行为识别方法及其识别系统

    公开(公告)号:CN116797972B

    公开(公告)日:2024-09-06

    申请号:CN202310756691.7

    申请日:2023-06-26

    Abstract: 本发明为视频分析领域,公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据;基于稀疏图因果时序预测编码,构建描述群体状态时空信息变化的网络结构,网络结构包括特征提取网络、编码器与解码器。特征提取网络,用于根据群体行为视频数据提取特征向量组;编码器,根据群体行为视频数据构建的场景中个体的稀疏图;解码器,利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态,以用于预测未来群组变化;对描述群体状态时空信息变化的网络结构构建损失函数,增强自监督学习的效果;利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别,用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。

    基于稀疏图因果时序编码的自监督群体行为识别方法及其识别系统

    公开(公告)号:CN116797972A

    公开(公告)日:2023-09-22

    申请号:CN202310756691.7

    申请日:2023-06-26

    Abstract: 本发明为视频分析领域,公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据;基于稀疏图因果时序预测编码,构建描述群体状态时空信息变化的网络结构,网络结构包括特征提取网络、编码器与解码器。特征提取网络,用于根据群体行为视频数据提取特征向量组;编码器,根据群体行为视频数据构建的场景中个体的稀疏图;解码器,利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态,以用于预测未来群组变化;对描述群体状态时空信息变化的网络结构构建损失函数,增强自监督学习的效果;利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别,用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。

Patent Agency Ranking