公开(公告)号：CN116721322A

公开(公告)日：2023-09-08

申请号：CN202310626312.2

申请日：2023-05-30

Applicant: 北方工业大学

Inventor： 叶青 ,  徐秀菊 ,  张永梅

IPC: G06V10/80 ,  G06V20/70 ,  G06V10/764 ,  G06V10/74 ,  G06V10/46 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开一种基于多模态的人物交互关系检测方法及其检测系统，其中方法包括：S1：对输入的图像进行目标检测输出目标检测结果；S2：结合改进的级联金字塔网络对目标检测结果中的人体姿态特征进行提取，采用图模型结构对目标检测结果中的人‑物视觉特征进行提取；S3：通过人‑物语义增强模块将目标检测结果中的分类标签经过算法得到最相似的样本短语嵌入向量特征及对应相似度分数；S4：通过视觉‑语义外部注意力模块的线性加权求和计算得到原始图像中人物最相关的交互区域特征，及视觉特征部分的交互特征预测得分；S5：通过多模态融合推理及交互检测得到最终人物交互关系检测结果。