公开(公告)号：CN116704433A

公开(公告)日：2023-09-05

申请号：CN202310598477.3

申请日：2023-05-25

Applicant: 中科(黑龙江)数字经济研究院有限公司 ,  北京邮电大学

Inventor： 周琬婷 ,  韩雨杉 ,  孔龙腾 ,  吴钺 ,  孙哲南

IPC: G06V20/52 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/084 ,  G06N3/09 ,  H04N19/50

Abstract: 本申请公开了一种基于上下文感知关系预测编码的自监督群体行为识别方法，属于视频分析技术领域，包括获取群体行为视频数据；基于上下文感知关系预测编码，构建群体行为特征自学习模型的网络结构，网络结构包括群体标记生成器、注意力机制编码器和混合上下文Transformer解码器；对网络结构进行自监督训练，得到群体行为特征自学习目标网络；基于少量样本对特征自学习目标网络进行微调，得到用于实现群体行为识别的目标网络。本申请通过上下文感知关系预测编码捕捉上下文关系，从而得到更全面准确的群体行为自学习表征。适用于缺乏标注的高效精确群体行为识别。

公开(公告)号：CN116543351A

公开(公告)日：2023-08-04

申请号：CN202310598295.6

申请日：2023-05-25

Applicant: 北京邮电大学 ,  中科(黑龙江)数字经济研究院有限公司

Inventor： 周琬婷 ,  韩雨杉 ,  孔龙腾 ,  孙哲南 ,  王小捷

IPC: G06V20/52 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/084 ,  G06N3/09 ,  H04N19/503 ,  H04N19/593

Abstract: 本申请公开了一种基于时空串并联关系编码的自监督群体行为识别方法，属于视频分析技术领域，包括获取群体行为视频数据；基于时空串并联注意力机制关系预测编码，构建群体特征自学习模型的网络结构，网络结构包括群体标记生成器、串行‑并行Transformer编码器和注意力机制解码器；对网络结构进行自监督训练，得到特征自学习目标网络；基于少量样本对特征自学习目标网络进行微调，得到用于实现群体行为识别的目标网络。本申请通过时空串并联注意力机制关系预测编码充分挖掘群体中的空间配合关系和时序动态变化，从而提高状态转化的构建能力，学习复杂群体特征的表达。适用于缺乏标注的高效精确群体行为识别。