公开(公告)号：CN115170817A

公开(公告)日：2022-10-11

申请号：CN202210862950.X

申请日：2022-07-21

Applicant: 广州大学

Inventor： 彭伟龙 ,  李聪 ,  陈庆丰 ,  方美娥

IPC: G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V40/20 ,  G06V10/46 ,  G06V10/764 ,  G06V10/774 ,  G06V10/25 ,  G06T17/00 ,  G06T17/20 ,  G06N3/04 ,  G06F3/01

Abstract: 本发明公开了一种基于三维人‑物网格拓扑增强的人物交互检测方法，包括：获取单张图片中的人体与物体的视觉特征；获取单张图片中的人体三维结构与物体三维结构，融合构建初始三维人‑物一体网格拓扑模型；基于增强三维人‑物一体网格拓扑获取三维人体的拓扑特征和三维人‑物的拓扑特征；将视觉特征与拓扑特征融合，获取增强三维人‑物一体网格拓扑模型；对增强三维人‑物一体网格拓扑模型进行训练，并基于训练后的模型获取识别结果。本发明采用了自底而上的拓扑特征提取，在提取三维人体姿态上取得了高效的效果。在HOI检测问题上融合了三维人物体网格特征，有效提高了HOI的识别性能，在HICO_DET基准数据集上取得了较高的精确度。

公开(公告)号：CN115170817B

公开(公告)日：2023-04-28

申请号：CN202210862950.X

申请日：2022-07-21

Applicant: 广州大学

Inventor： 彭伟龙 ,  李聪 ,  陈庆丰 ,  方美娥

IPC: G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V40/20 ,  G06V10/46 ,  G06V10/764 ,  G06V10/774 ,  G06V10/25 ,  G06T17/00 ,  G06T17/20 ,  G06N3/0464 ,  G06F3/01

Abstract: 本发明公开了一种基于三维人‑物网格拓扑增强的人物交互检测方法，包括：获取单张图片中的人体与物体的视觉特征；获取单张图片中的人体三维结构与物体三维结构，融合构建初始三维人‑物一体网格拓扑模型；基于增强三维人‑物一体网格拓扑获取三维人体的拓扑特征和三维人‑物的拓扑特征；将视觉特征与拓扑特征融合，获取增强三维人‑物一体网格拓扑模型；对增强三维人‑物一体网格拓扑模型进行训练，并基于训练后的模型获取识别结果。本发明采用了自底而上的拓扑特征提取，在提取三维人体姿态上取得了高效的效果。在HOI检测问题上融合了三维人物体网格特征，有效提高了HOI的识别性能，在HICO_DET基准数据集上取得了较高的精确度。

公开(公告)号：CN118314600A

公开(公告)日：2024-07-09

申请号：CN202410399402.7

申请日：2024-04-03

Applicant: 广州大学

Inventor： 彭伟龙 ,  陈庆丰 ,  何杰锋 ,  林浩 ,  吴晓辉 ,  管楚焕 ,  汪洋涛 ,  方美娥

IPC: G06V40/10 ,  G06V10/25 ,  G06V10/80 ,  G06V10/82 ,  G06V10/70 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明提供了一种融合多粒度信息的人物交互检测方法、装置、设备及介质，其中，方法包括对获取的待检测的目标图像，获得外观特征，空间信息，全局上下文信息和三维人体姿态特征；基于改进的多粒度信息融合Transformer模型，获得待检测的目标图像所有人、物定位框，及人物交互信息；其中，实例关联模块基于外观特征和空间信息，将交互的人体或物体实例构建关联获得人物关联感知特征；姿态感知融合模块根据三维人体姿态特征及给定的每个人‑物体对的关联感知特征进行融合嵌入获得融合特征；上下文优化模块利用全局上下文信息对融合特征进行优化，并通过多层感知器预测相应的人‑物交互类别，以解决现有方法识别结果精度不高的问题。