公开(公告)号：CN112989927B

公开(公告)日：2024-03-05

申请号：CN202110151201.1

申请日：2021-02-03

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  余宙 ,  李娉

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明公开了一种基于自监督预训练的场景图生成方法。本发明步骤如下：1、数据预处理及数据集的划分，2、使用训练好的目标检测网络对图像提取特征，3、构建目标的空间特征，4、构建自监督预训练网络模型，5、训练自监督预训练网络模型，6、构建自监督预训练和微调模型的场景图生成模型，7、训练场景图生成模型，8、网络预测值计算。本发明尤其是用于同时建模目标上下文和关系上下文在场景图生成的任务上取得了显著性的提升效果，超越了该任务上的大部分主流方法。并且本发明的基于自监督预训练的场景图生成方法在其他跨模态相关领域中如图像内容问答和视觉关系检测中也具有十分重要的应用价值和巨大的潜力。

公开(公告)号：CN112464016A

公开(公告)日：2021-03-09

申请号：CN202011500013.7

申请日：2020-12-17

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  李娉 ,  余宙

IPC: G06F16/583 ,  G06F16/587 ,  G06K9/72 ,  G06N3/04 ,  G06N3/08 ,  G06F40/284

Abstract: 本发明公开了一种基于深度关系自注意力网络的场景图生成方法。本发明步骤如下：1、数据预处理及数据集的划分，2、使用预训练的目标检测网络对图像提取特征，3、构建目标的空间特征，4、构建目标的语言特征，5、构建相对关系特征，6、构建深度神经网络，7、损失函数，8、训练模型、9、网络预测值计算。本发明用于同时建模目标上下文和关系上下文的RSAN网络在场景图生成的任务上取得了显著性的提升效果，超越了该任务上的大部分主流方法。并且本发明的RSAN网络在其他跨模态相关领域中如图像内容问答和视觉关系检测中也具有十分重要的应用价值和巨大的潜力。

公开(公告)号：CN112464016B

公开(公告)日：2022-04-01

申请号：CN202011500013.7

申请日：2020-12-17

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  李娉 ,  余宙

IPC: G06F16/583 ,  G06F16/587 ,  G06V30/262 ,  G06N3/04 ,  G06N3/08 ,  G06F40/284

Abstract: 本发明公开了一种基于深度关系自注意力网络的场景图生成方法。本发明步骤如下：1、数据预处理及数据集的划分，2、使用预训练的目标检测网络对图像提取特征，3、构建目标的空间特征，4、构建目标的语言特征，5、构建相对关系特征，6、构建深度神经网络，7、损失函数，8、训练模型、9、网络预测值计算。本发明用于同时建模目标上下文和关系上下文的RSAN网络在场景图生成的任务上取得了显著性的提升效果，超越了该任务上的大部分主流方法。并且本发明的RSAN网络在其他跨模态相关领域中如图像内容问答和视觉关系检测中也具有十分重要的应用价值和巨大的潜力。

公开(公告)号：CN112989927A

公开(公告)日：2021-06-18

申请号：CN202110151201.1

申请日：2021-02-03

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  余宙 ,  李娉

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明公开了一种基于自监督预训练的场景图生成方法。本发明步骤如下：1、数据预处理及数据集的划分，2、使用训练好的目标检测网络对图像提取特征，3、构建目标的空间特征，4、构建自监督预训练网络模型，5、训练自监督预训练网络模型，6、构建自监督预训练和微调模型的场景图生成模型，7、训练场景图生成模型，8、网络预测值计算。本发明尤其是用于同时建模目标上下文和关系上下文在场景图生成的任务上取得了显著性的提升效果，超越了该任务上的大部分主流方法。并且本发明的基于自监督预训练的场景图生成方法在其他跨模态相关领域中如图像内容问答和视觉关系检测中也具有十分重要的应用价值和巨大的潜力。