-
公开(公告)号:CN116543351A
公开(公告)日:2023-08-04
申请号:CN202310598295.6
申请日:2023-05-25
Applicant: 北京邮电大学 , 中科(黑龙江)数字经济研究院有限公司
IPC: G06V20/52 , G06V20/40 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/084 , G06N3/09 , H04N19/503 , H04N19/593
Abstract: 本申请公开了一种基于时空串并联关系编码的自监督群体行为识别方法,属于视频分析技术领域,包括获取群体行为视频数据;基于时空串并联注意力机制关系预测编码,构建群体特征自学习模型的网络结构,网络结构包括群体标记生成器、串行‑并行Transformer编码器和注意力机制解码器;对网络结构进行自监督训练,得到特征自学习目标网络;基于少量样本对特征自学习目标网络进行微调,得到用于实现群体行为识别的目标网络。本申请通过时空串并联注意力机制关系预测编码充分挖掘群体中的空间配合关系和时序动态变化,从而提高状态转化的构建能力,学习复杂群体特征的表达。适用于缺乏标注的高效精确群体行为识别。
-
公开(公告)号:CN116797972B
公开(公告)日:2024-09-06
申请号:CN202310756691.7
申请日:2023-06-26
Applicant: 中科(黑龙江)数字经济研究院有限公司 , 北京邮电大学
IPC: G06V20/40 , G06N3/045 , G06N3/0895
Abstract: 本发明为视频分析领域,公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据;基于稀疏图因果时序预测编码,构建描述群体状态时空信息变化的网络结构,网络结构包括特征提取网络、编码器与解码器。特征提取网络,用于根据群体行为视频数据提取特征向量组;编码器,根据群体行为视频数据构建的场景中个体的稀疏图;解码器,利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态,以用于预测未来群组变化;对描述群体状态时空信息变化的网络结构构建损失函数,增强自监督学习的效果;利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别,用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。
-
公开(公告)号:CN116797972A
公开(公告)日:2023-09-22
申请号:CN202310756691.7
申请日:2023-06-26
Applicant: 中科(黑龙江)数字经济研究院有限公司 , 北京邮电大学
IPC: G06V20/40 , G06N3/045 , G06N3/0895
Abstract: 本发明为视频分析领域,公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据;基于稀疏图因果时序预测编码,构建描述群体状态时空信息变化的网络结构,网络结构包括特征提取网络、编码器与解码器。特征提取网络,用于根据群体行为视频数据提取特征向量组;编码器,根据群体行为视频数据构建的场景中个体的稀疏图;解码器,利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态,以用于预测未来群组变化;对描述群体状态时空信息变化的网络结构构建损失函数,增强自监督学习的效果;利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别,用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。
-
公开(公告)号:CN117095460A
公开(公告)日:2023-11-21
申请号:CN202311008758.5
申请日:2023-08-10
Applicant: 中科(黑龙江)数字经济研究院有限公司 , 北京邮电大学
Abstract: 本发明属于视频分析技术领域,具体涉及一种基于长短时关系预测编码的自监督群体行为识别方法及其识别系统。个体时空特征提取,将视频数据转化为个体级别的时空特征;自监督学习模型,构建由时空特征编码器和长短时关系预测解码器组成的自学习网络结构来描述群体活动的状态变化;自监督训练,对自学习模型的网络进行自监督训练,得到初始化的群体行为识别目标网络;目标网络微调,利用少量样本对初始化的群体行为识别目标网络进行微调,得到目标网络,通过所述目标网络进行群体行为识别。本发明对群体行为中复杂的动态模式进行建模,并逐步预测未来的群体关系特征与状态,实现监督受限条件下高效、精确的群体行为识别。
-
公开(公告)号:CN116704433A
公开(公告)日:2023-09-05
申请号:CN202310598477.3
申请日:2023-05-25
Applicant: 中科(黑龙江)数字经济研究院有限公司 , 北京邮电大学
IPC: G06V20/52 , G06V20/40 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/084 , G06N3/09 , H04N19/50
Abstract: 本申请公开了一种基于上下文感知关系预测编码的自监督群体行为识别方法,属于视频分析技术领域,包括获取群体行为视频数据;基于上下文感知关系预测编码,构建群体行为特征自学习模型的网络结构,网络结构包括群体标记生成器、注意力机制编码器和混合上下文Transformer解码器;对网络结构进行自监督训练,得到群体行为特征自学习目标网络;基于少量样本对特征自学习目标网络进行微调,得到用于实现群体行为识别的目标网络。本申请通过上下文感知关系预测编码捕捉上下文关系,从而得到更全面准确的群体行为自学习表征。适用于缺乏标注的高效精确群体行为识别。
-
-
-
-