公开(公告)号：CN113516058B

公开(公告)日：2024-05-24

申请号：CN202110680032.0

申请日：2021-06-18

Applicant: 北京工业大学

Inventor： 张菁 ,  贺辰 ,  康俊鹏 ,  卓力

IPC: G06V20/40 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/08 ,  G06V40/10 ,  G06N3/045

Abstract: 本发明涉及一种直播视频群组异常活动检测方法、装置、电子设备及介质，该方法包括使用卷积神经网络提取直播视频帧序列中个体的深度时空特征，并使用FPN和PAN网络对直播视频帧序列中的个体进行定位，以得到位置参数；将个体的深度时空特征和位置参数作为输入以构建图卷积模块，从而提取群组活动关系，并利用图卷积模块对时间上下文信息进行编码，以得到不同时间尺度的群组活动码字；将不同时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，以判定是否发生群组异常活动和/或发生群组异常活动的时间段。本发明通过提取深度时空特征和定位，以及进行时间上下文编码，可以提高群组异常活动检测的速度和准确度，降低检测的成本。

公开(公告)号：CN112653899B

公开(公告)日：2022-07-12

申请号：CN202011509545.7

申请日：2020-12-18

Applicant: 北京工业大学

Inventor： 张菁 ,  康俊鹏 ,  张广朋 ,  卓力

IPC: H04N21/2187 ,  H04N21/234 ,  H04N21/44

Abstract: 本发明涉及一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法。首先对网络直播视频进行关键帧提取，得到视频的关键帧数据。为了利用视频帧的多尺度特征，按照特征金字塔网络的多尺度结构，设计了一个并行通路。该并行通路是自下而上构建的，与原有主干通路之间利用横向连接和斜向连接进行信息交换，其中横向连接和斜向连接均为卷积运算。考虑到网络直播的画面表现形式多以人为主体，同时夹杂大量冗余信息，因此引入空间——通道联合注意力，便于聚焦画面主体特征。最后，将融合了联合注意力的并行特征金字塔结合卷积层和池化层，构造ResNeSt特征提取模块，通过多层模块叠加，实现复杂场景下网络直播视频的特征提取。

公开(公告)号：CN112653899A

公开(公告)日：2021-04-13

申请号：CN202011509545.7

申请日：2020-12-18

Applicant: 北京工业大学

Inventor： 张菁 ,  康俊鹏 ,  张广朋 ,  卓力

IPC: H04N21/2187 ,  H04N21/234 ,  H04N21/44

Abstract: 本发明涉及一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法。首先对网络直播视频进行关键帧提取，得到视频的关键帧数据。为了利用视频帧的多尺度特征，按照特征金字塔网络的多尺度结构，设计了一个并行通路。该并行通路是自下而上构建的，与原有主干通路之间利用横向连接和斜向连接进行信息交换，其中横向连接和斜向连接均为卷积运算。考虑到网络直播的画面表现形式多以人为主体，同时夹杂大量冗余信息，因此引入空间——通道联合注意力，便于聚焦画面主体特征。最后，将融合了联合注意力的并行特征金字塔结合卷积层和池化层，构造ResNeSt特征提取模块，通过多层模块叠加，实现复杂场景下网络直播视频的特征提取。

公开(公告)号：CN113516058A

公开(公告)日：2021-10-19

申请号：CN202110680032.0

申请日：2021-06-18

Applicant: 北京工业大学

Inventor： 张菁 ,  贺辰 ,  康俊鹏 ,  卓力

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种直播视频群组异常活动检测方法、装置、电子设备及介质，该方法包括使用卷积神经网络提取直播视频帧序列中个体的深度时空特征，并使用FPN和PAN网络对直播视频帧序列中的个体进行定位，以得到位置参数；将个体的深度时空特征和位置参数作为输入以构建图卷积模块，从而提取群组活动关系，并利用图卷积模块对时间上下文信息进行编码，以得到不同时间尺度的群组活动码字；将不同时间尺度的群组活动码字与已知类别的群组活动码字进行匹配，以判定是否发生群组异常活动和/或发生群组异常活动的时间段。本发明通过提取深度时空特征和定位，以及进行时间上下文编码，可以提高群组异常活动检测的速度和准确度，降低检测的成本。