公开(公告)号：CN118968609A

公开(公告)日：2024-11-15

申请号：CN202410818306.1

申请日：2024-06-24

Applicant: 北京邮电大学

Inventor： 明悦 ,  陈卓超 ,  周江琬 ,  吕柏阳

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06T3/4053 ,  G06F17/18 ,  G06V10/74 ,  G06N3/0455 ,  G06N3/049 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于关键帧选择的多路径网络的人体行为识别方法。该方法包括：对待识别的视频数据进行采样，得到多个视频分段；对各个视频分段进行特征采集，使用多层感知器和归一化函数生成概率分布，根据概率分布筛选出人体动作所在的视频分段；将所述人体动作所在的视频分段输入到多路径视频‑文本编码器分类网络中，通过时间编码器和空间编码器从视频分段学习时空特征，通过文本编码器学习视频分段中的文本特征，通过计算时空特征和文本特征的相似度，获得所述待识别视频的人体行为的识别结果。本发明所提出的方法能够有效地筛选出与人体动作相关的图像帧，减少无关行为的干扰，提升整体的识别效果。