公开(公告)号：CN117953543A

公开(公告)日：2024-04-30

申请号：CN202410346348.X

申请日：2024-03-26

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 任卫红 ,  罗金国 ,  刘洪海 ,  姜渭博 ,  高宇 ,  许兴隆 ,  董潜

IPC: G06V40/10 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/26

Abstract: 本发明公开基于多元文本的人物交互检测方法、终端及可读存储介质，所述方法包括：获取原始待检测图像，根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征；获取先验文本的先验文本特征，将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征；根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果。可以看出，本发明通过多元化文本的交叉对照，从而避免了单个文本作为先验信息时，会引入有歧义性的先验文本特征，进而影响模型预测的准确性和鲁棒性的问题，从而提高了模型整体预测的准确性和鲁棒性。

公开(公告)号：CN116311535A

公开(公告)日：2023-06-23

申请号：CN202310553376.4

申请日：2023-05-17

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 任卫红 ,  姜渭博 ,  刘洪海 ,  高宇 ,  许兴隆 ,  董潜

IPC: G06V40/20 ,  G06V10/42 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明提供了一种基于人物交互检测的危险行为分析方法及系统，该危险行为分析方法包括：步骤1：原始图像经过图像特征提取器进行高级特征提取；步骤2：将步骤1提取出的特征分别送入动作感知模块和目标感知模块进行隐式的动作语义特征提取和显式的目标感知特征提取；步骤3：将步骤2提取出的动作语义特征和目标感知特征送入交互感知模块进行融合，得到包含动作感知特征和目标感知特征的交互特征，所述交互特征被用于最终的人‑物交互预测。本发明的有益效果是：本发明通过人‑物交互检测从细粒度层级上分析人体行为，可实现危险行为精确分析。