公开(公告)号：CN118314600A

公开(公告)日：2024-07-09

申请号：CN202410399402.7

申请日：2024-04-03

Applicant: 广州大学

Inventor： 彭伟龙 ,  陈庆丰 ,  何杰锋 ,  林浩 ,  吴晓辉 ,  管楚焕 ,  汪洋涛 ,  方美娥

IPC: G06V40/10 ,  G06V10/25 ,  G06V10/80 ,  G06V10/82 ,  G06V10/70 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明提供了一种融合多粒度信息的人物交互检测方法、装置、设备及介质，其中，方法包括对获取的待检测的目标图像，获得外观特征，空间信息，全局上下文信息和三维人体姿态特征；基于改进的多粒度信息融合Transformer模型，获得待检测的目标图像所有人、物定位框，及人物交互信息；其中，实例关联模块基于外观特征和空间信息，将交互的人体或物体实例构建关联获得人物关联感知特征；姿态感知融合模块根据三维人体姿态特征及给定的每个人‑物体对的关联感知特征进行融合嵌入获得融合特征；上下文优化模块利用全局上下文信息对融合特征进行优化，并通过多层感知器预测相应的人‑物交互类别，以解决现有方法识别结果精度不高的问题。