公开(公告)号：CN113139423B

公开(公告)日：2024-03-01

申请号：CN202110256665.9

申请日：2021-03-09

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  张昊文 ,  李亚楠

IPC: G06V20/40 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种用于场景图检测的关系图学习方法。本发明步骤：1、对于大型数据集中的图像，按照标准数据集处理方法，提取出现频次最高的150个目标和50个关系作为数据集Ⅰ的目标和关系；2、分别对数据集Ⅰ中的每张图像用目标检测网络Faster R‑CNN来提取目标，并获得每对目标之间的关系建议，提取的目标和关系建议构成关系数据；3、利用关系提取网络对得到的关系数据进行筛选，过滤冗余信息关系和无效性关系；4、构建一个关系图注意力网络，该网络由两部分组成：视觉‑空间图注意力子网络和语义‑空间图注意力子网络；通过融合两个子网络的结果获得最终关系图。本发明实验结果表明比现有的最优方法效果提升数个百分点。

公开(公告)号：CN113139423A

公开(公告)日：2021-07-20

申请号：CN202110256665.9

申请日：2021-03-09

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  张昊文 ,  李亚楠

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种用于场景图检测的关系图学习方法。本发明步骤：1、对于大型数据集中的图像，按照标准数据集处理方法，提取出现频次最高的150个目标和50个关系作为数据集Ⅰ的目标和关系；2、分别对数据集Ⅰ中的每张图像用目标检测网络Faster R‑CNN来提取目标，并获得每对目标之间的关系建议，提取的目标和关系建议构成关系数据；3、利用关系提取网络对得到的关系数据进行筛选，过滤冗余信息关系和无效性关系；4、构建一个关系图注意力网络，该网络由两部分组成：视觉‑空间图注意力子网络和语义‑空间图注意力子网络；通过融合两个子网络的结果获得最终关系图。本发明实验结果表明比现有的最优方法效果提升数个百分点。