公开(公告)号：CN117994852B

公开(公告)日：2024-11-12

申请号：CN202410229510.X

申请日：2024-02-29

Applicant: 北京邮电大学

Inventor： 金磊 ,  杨丰 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V40/20 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/098

Abstract: 本发明提供一种基于查询的人体行为感知方法、装置及程序产品，所述方法包括：获取预先训练的人体行为感知模型，人体行为感知模型包括视频编码器和动作解码器；视频编码器用于提取视频数据对应的视觉特征；动作解码器用于将视觉特征作为查询键值对，与至少一个预设查询进行关联，优化至少一个预设查询并输出查询任务对应的结果；将视频数据输入所述人体行为感知模型，得到人体行为感知结果。本发明能够实现跨任务联合优化，完成人体行为感知领域的多个任务，提高通用性和可拓展性。

公开(公告)号：CN117994852A

公开(公告)日：2024-05-07

申请号：CN202410229510.X

申请日：2024-02-29

Applicant: 北京邮电大学

Inventor： 金磊 ,  杨丰 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V40/20 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/098

Abstract: 本发明提供一种基于查询的人体行为感知方法、装置及程序产品，所述方法包括：获取预先训练的人体行为感知模型，人体行为感知模型包括视频编码器和动作解码器；视频编码器用于提取视频数据对应的视觉特征；动作解码器用于将视觉特征作为查询键值对，与至少一个预设查询进行关联，优化至少一个预设查询并输出查询任务对应的结果；将视频数据输入所述人体行为感知模型，得到人体行为感知结果。本发明能够实现跨任务联合优化，完成人体行为感知领域的多个任务，提高通用性和可拓展性。