公开(公告)号：CN114694174B

公开(公告)日：2024-12-17

申请号：CN202210199016.4

申请日：2022-03-02

Applicant: 北京邮电大学

Inventor： 夏海轮 ,  唐志浩 ,  冯春燕

IPC: G06V40/10 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/774

Abstract: 本发明公开了一种基于时空图卷积的人体交互行为识别方法，属于人工智能领域，具体为：首先，用深度摄像机录制时间T内的双人交互行为的视频，直接提取人体骨骼关键点三维坐标数据，将数据规整成形如1×M×C×T×V的张量；初始化时空交互图卷积网络，输入数据张量经过归一化层后，到达6层结构相同的子网络层，每层子网络层由两个单人特征提取模块和一个交互特征关联模块组成；单人特征提取模块包含空间图卷积模块GCN和时间卷积模块TCN；经过6层空间图卷积和时间卷积后输出两张量特征R1,R2进行归一化后在通道维度处拼接，依次经过全连接层和Softmax层得到类别号label，最后，查询类别号‑行为名称组成的哈希表，得到行为名称；本发明有效提高了交互特征的聚合效率和识别准确率。

公开(公告)号：CN114694174A

公开(公告)日：2022-07-01

申请号：CN202210199016.4

申请日：2022-03-02

Applicant: 北京邮电大学

Inventor： 夏海轮 ,  唐志浩 ,  冯春燕

IPC: G06V40/10 ,  G06K9/62 ,  G06N3/04 ,  G06V10/774

Abstract: 本发明公开了一种基于时空图卷积的人体交互行为识别方法，属于人工智能领域，具体为：首先，用深度摄像机录制时间T内的双人交互行为的视频，直接提取人体骨骼关键点三维坐标数据，将数据规整成形如1×M×C×T×V的张量；初始化时空交互图卷积网络，输入数据张量经过归一化层后，到达6层结构相同的子网络层，每层子网络层由两个单人特征提取模块和一个交互特征关联模块组成；单人特征提取模块包含空间图卷积模块GCN和时间卷积模块TCN；经过6层空间图卷积和时间卷积后输出两张量特征R1,R2进行归一化后在通道维度处拼接，依次经过全连接层和Softmax层得到类别号label，最后，查询类别号‑行为名称组成的哈希表，得到行为名称；本发明有效提高了交互特征的聚合效率和识别准确率。