公开(公告)号：CN118262264A

公开(公告)日：2024-06-28

申请号：CN202410128441.3

申请日：2024-01-30

Applicant: 北京邮电大学

Inventor： 金磊 ,  吴昊 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/84

Abstract: 本申请提供一种视频动作分割与评估方法，所述方法包括：采用骨架网络对包含多个动作的目标视频进行特征提取，得到视频特征；将所述视频特征输入用于提取时间置信度特征的第一卷积网络以得到时间置信度图；将所述视频特征输入用于提取边界置信度特征的第二卷积网络以得到边界置信度图；基于所述时间置信度图和边界置信度图对所述目标视频进行分割，得到多个子动作视频特征；基于全连接层和softmax层得到各个所述子动作视频特征各自对应的特征得分集；基于高斯函数和各个所述特征得分集确定各个所述子动作视频特征的动作评估得分。本申请能够有效提高视频动作分割的普适性、准确性差以及提升分割效率。

公开(公告)号：CN117994852B

公开(公告)日：2024-11-12

申请号：CN202410229510.X

申请日：2024-02-29

Applicant: 北京邮电大学

Inventor： 金磊 ,  杨丰 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V40/20 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/098

Abstract: 本发明提供一种基于查询的人体行为感知方法、装置及程序产品，所述方法包括：获取预先训练的人体行为感知模型，人体行为感知模型包括视频编码器和动作解码器；视频编码器用于提取视频数据对应的视觉特征；动作解码器用于将视觉特征作为查询键值对，与至少一个预设查询进行关联，优化至少一个预设查询并输出查询任务对应的结果；将视频数据输入所述人体行为感知模型，得到人体行为感知结果。本发明能够实现跨任务联合优化，完成人体行为感知领域的多个任务，提高通用性和可拓展性。

公开(公告)号：CN118262264B

公开(公告)日：2024-09-17

申请号：CN202410128441.3

申请日：2024-01-30

Applicant: 北京邮电大学

Inventor： 金磊 ,  吴昊 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/84

Abstract: 本申请提供一种视频动作分割与评估方法，所述方法包括：采用骨架网络对包含多个动作的目标视频进行特征提取，得到视频特征；将所述视频特征输入用于提取时间置信度特征的第一卷积网络以得到时间置信度图；将所述视频特征输入用于提取边界置信度特征的第二卷积网络以得到边界置信度图；基于所述时间置信度图和边界置信度图对所述目标视频进行分割，得到多个子动作视频特征；基于全连接层和softmax层得到各个所述子动作视频特征各自对应的特征得分集；基于高斯函数和各个所述特征得分集确定各个所述子动作视频特征的动作评估得分。本申请能够有效提高视频动作分割的普适性、准确性差以及提升分割效率。

公开(公告)号：CN117994852A

公开(公告)日：2024-05-07

申请号：CN202410229510.X

申请日：2024-02-29

Applicant: 北京邮电大学

Inventor： 金磊 ,  杨丰 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V40/20 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/098

Abstract: 本发明提供一种基于查询的人体行为感知方法、装置及程序产品，所述方法包括：获取预先训练的人体行为感知模型，人体行为感知模型包括视频编码器和动作解码器；视频编码器用于提取视频数据对应的视觉特征；动作解码器用于将视觉特征作为查询键值对，与至少一个预设查询进行关联，优化至少一个预设查询并输出查询任务对应的结果；将视频数据输入所述人体行为感知模型，得到人体行为感知结果。本发明能够实现跨任务联合优化，完成人体行为感知领域的多个任务，提高通用性和可拓展性。

公开(公告)号：CN116758628A

公开(公告)日：2023-09-15

申请号：CN202310615495.8

申请日：2023-05-29

Applicant: 北京邮电大学

Inventor： 金磊 ,  吴昊 ,  淦子良 ,  王小娟 ,  何明枢

IPC: G06V40/20 ,  G06V40/70 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明提供一种基于多模态融合的人体动作识别方法及装置，所述方法的步骤包括：在加速度数据中截取加速度数据段，并在通过深度相机采集到的关节点数据帧中截取对应时间段的关节点数据帧；将截取的加速度数据段构建为加速度参数矩阵，将所述加速度参数矩阵输入到预训练的第一模型中，所述第一模型输出第一特征向量；生成对应所述关节点数据帧中每个关节点的关节点热力图张量，采用时间聚合策略将每个关节点热力图张量处理为聚合张量；将全部聚合张量输入到预训练的第二模型中，所述第二模型输出第二特征向量；基于所述第一特征向量和第二特征向量，采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果。