公开(公告)号：CN111860222A

公开(公告)日：2020-10-30

申请号：CN202010620022.3

申请日：2020-06-30

Applicant: 东南大学

Inventor： 张宇 ,  米思娅 ,  赵俊杰 ,  陈铮杰

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于稠密-分段式帧采样的视频行为识别方法、系统、计算机设备和存储介质。首先将视频均匀地分为N段，在每段中采样一帧做为关键帧，由关键帧组成关键片段。同时，对每一个关键帧，在其前后按固定的采样率采样连续若干帧，作为上下文帧。将上下文帧和其对应的关键帧组成一个上下文片段。进行一次稠密-分段式帧采样，将会返回一个关键片段和N个上下文片段，将其送入时序稠密-分段式网络TDSN中进行处理，从关键片段中提取长程时序信息，从上下文片段中提取局部上下文信息，将两种信息融合在一起，最终用于识别视频中的行为动作。本发明能够有效提取视频中的长程时序信息和局部上下文信息，有效地提升了视频行为识别的准确率。

公开(公告)号：CN111860222B

公开(公告)日：2022-11-18

申请号：CN202010620022.3

申请日：2020-06-30

Applicant: 东南大学

Inventor： 张宇 ,  米思娅 ,  赵俊杰 ,  陈铮杰

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种基于稠密‑分段式帧采样的视频行为识别方法、系统、计算机设备和存储介质。首先将视频均匀地分为N段，在每段中采样一帧做为关键帧，由关键帧组成关键片段。同时，对每一个关键帧，在其前后按固定的采样率采样连续若干帧，作为上下文帧。将上下文帧和其对应的关键帧组成一个上下文片段。进行一次稠密‑分段式帧采样，将会返回一个关键片段和N个上下文片段，将其送入时序稠密‑分段式网络TDSN中进行处理，从关键片段中提取长程时序信息，从上下文片段中提取局部上下文信息，将两种信息融合在一起，最终用于识别视频中的行为动作。本发明能够有效提取视频中的长程时序信息和局部上下文信息，有效地提升了视频行为识别的准确率。