-
公开(公告)号:CN113158791A
公开(公告)日:2021-07-23
申请号:CN202110275574.X
申请日:2021-03-15
Applicant: 上海交通大学
Abstract: 本发明提供了一种以人为中心的图像描述标注方法及系统,对图像进行目标检测,得到图像中的所有检测目标;针对所述检测目标中的人体,计算人体每一个关键部位的关键点坐标以及概率,生成人体姿态关键点;根据人体比例以及所述人体姿态关键点的位置信息,为人体的特定部位生成包含周围语义信息的感兴趣区域,得到人体的特定局部特征;根据所述人体的特定局部特征,对所有检测目标进行特征层次化分级;将不同层次的特征进行特征分析以及特征融合,将得到的融合特征进行图像描述单词的预测,生成图像描述标注。同时提供了一种相应的终端及介质。本发明能够更加详细且准确地描述人的行为活动,注重更加细节的特征提取和交互推理。
-
公开(公告)号:CN113158791B
公开(公告)日:2022-08-16
申请号:CN202110275574.X
申请日:2021-03-15
Applicant: 上海交通大学
IPC: G06V40/10 , G06V10/25 , G06V10/40 , G06V10/80 , G06V10/774 , G06V10/764
Abstract: 本发明提供了一种以人为中心的图像描述标注方法及系统,对图像进行目标检测,得到图像中的所有检测目标;针对所述检测目标中的人体,计算人体每一个关键部位的关键点坐标以及概率,生成人体姿态关键点;根据人体比例以及所述人体姿态关键点的位置信息,为人体的特定部位生成包含周围语义信息的感兴趣区域,得到人体的特定局部特征;根据所述人体的特定局部特征,对所有检测目标进行特征层次化分级;将不同层次的特征进行特征分析以及特征融合,将得到的融合特征进行图像描述单词的预测,生成图像描述标注。同时提供了一种相应的终端及介质。本发明能够更加详细且准确地描述人的行为活动,注重更加细节的特征提取和交互推理。
-