-
公开(公告)号:CN113468923B
公开(公告)日:2022-09-06
申请号:CN202010243766.8
申请日:2020-03-31
Applicant: 上海交通大学
Abstract: 一种基于细粒度多模态共同表征的人‑物体交互行为检测方法。通过整理样本图像中的人‑物体对及人‑物体交互行为,并借助三维人体重建方法及三维人体‑物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集,通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据,得到人‑物体交互行为的检测分数实现交互行为检测。本发明能够准确地实现人‑物体交互行为进行检测,并同时获取到交互中的人与物体的二维和三维几何表征。
-
公开(公告)号:CN113468923A
公开(公告)日:2021-10-01
申请号:CN202010243766.8
申请日:2020-03-31
Applicant: 上海交通大学
Abstract: 一种基于细粒度多模态共同表征的人‑物体交互行为检测方法。通过整理样本图像中的人‑物体对及人‑物体交互行为,并借助三维人体重建方法及三维人体‑物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集,通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据,得到人‑物体交互行为的检测分数实现交互行为检测。本发明能够准确地实现人‑物体交互行为进行检测,并同时获取到交互中的人与物体的二维和三维几何表征。
-
公开(公告)号:CN116503944A
公开(公告)日:2023-07-28
申请号:CN202310464788.0
申请日:2023-04-27
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/764 , G06V10/77 , G06V10/82 , G06N3/0455 , G06N3/096
Abstract: 一种基于结构化行为语义空间的行为识别检测方法及系统,在离线阶段根据VerbNet中有层次的动词树构建建立结构化行为语义空间,通过一致性处理构建具有统一标签系统的统一数据库后,从通用行为数据集中提取语义空间中节点的语义表征和几何表征并建立物理‑语义映射模型,在在线阶段根据训练后的物理‑语义映射模型识别待测样本的语义行为类别,并在具体行为理解场景中通过迁移识别指定的行为类别。本发明通过建立结构化行为语义空间和统一数据库后,提取结构化语义空间的语义信息和几何信息,并根据物理空间和语义空间的映射,进行具体行为理解场景的迁移,实现行为类别的检测。
-
公开(公告)号:CN113449564A
公开(公告)日:2021-09-28
申请号:CN202010228189.5
申请日:2020-03-26
Applicant: 上海交通大学
Abstract: 一种基于人体局部行为语义知识的图像分类方法,通过建立用于获得人体局部细粒度语义表征的人体部位行为状态识别模型并进行模型训练;然后利用自然语言理解将待测图像中的视觉信息转化为基于语言的先验知识,并将先验知识与视觉信息融合生成细粒度行为表征向量并迁移到计算机视觉行为和识别任务中;最后通过组合人体局部细粒度特征推理整体行为以完成行为理解过程得到分类结果。本发明在多种复杂行为理解任务中取得非常理想的识别性能提升;同时,该方法具有一次预训练,多次多样迁移的优势,兼具泛化性和灵活性。
-
公开(公告)号:CN113449564B
公开(公告)日:2022-09-06
申请号:CN202010228189.5
申请日:2020-03-26
Applicant: 上海交通大学
Abstract: 一种基于人体局部行为语义知识的图像分类方法,通过建立用于获得人体局部细粒度语义表征的人体部位行为状态识别模型并进行模型训练;然后利用自然语言理解将待测图像中的视觉信息转化为基于语言的先验知识,并将先验知识与视觉信息融合生成细粒度行为表征向量并迁移到计算机视觉行为和识别任务中;最后通过组合人体局部细粒度特征推理整体行为以完成行为理解过程得到分类结果。本发明在多种复杂行为理解任务中取得非常理想的识别性能提升;同时,该方法具有一次预训练,多次多样迁移的优势,兼具泛化性和灵活性。
-
-
-
-