公开(公告)号：CN114332519A

公开(公告)日：2022-04-12

申请号：CN202111638065.5

申请日：2021-12-29

Applicant: 杭州电子科技大学

Inventor： 姜明 ,  陈景翔 ,  张旻 ,  李鹏飞

IPC: G06V10/762 ,  G06V10/80 ,  G06V10/82 ,  G06F16/35 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于外部三元组和抽象关系的图像描述生成方法。本发明首先提取图像描述文本中的三元组，构建外部关系库并对三元组进行特征编码。将文本相似度高于阈值的三元组聚类为一类。同时模型对图像进行目标检测得得到目标视觉特征集合与目标类别集合；根据文本相似度在外部关系库中查询目标与目标类别相似的三元组。模型利用目标视觉特征对图像的目标、属性、关系分别进行预测，生成场景图；并利用卷积神经网络融合视觉特征与文本特征，对目标、属性、关系进行特征编码。最后融合场景图目标、属性、关系编码特征与相似关系和抽象关系的编码特征，输入到双层LSTM序列生成模型中得到最终的图像描述。本发明使模型生成描述的表述更加丰富。

公开(公告)号：CN113689514B

公开(公告)日：2024-04-09

申请号：CN202110726055.0

申请日：2021-06-29

Applicant: 杭州电子科技大学

Inventor： 张旻 ,  陈景翔 ,  姜明

IPC: G06T11/00 ,  G06V20/40 ,  G06V10/764 ,  G06V10/46

Abstract: 本发明公开了一种面向主题的图像场景图生成方法。本发明首先使用LDA概率主题模型，提取文本的主题概率分布以及主题的词汇分布，构建图像主题数据集。然后利用图像主题数据集，预训练得到图像主题预测模型。其次，模型对图像进行目标检测，并融合全局特征、目标特征、类别特征以及主题特征得到关系特征，对检测的目标预测其属性以及目标间的关系，训练得到场景图生成模型。使用U‑2‑Net对图像进行显著性检测，并利用检测结果得到图像中各像素点的显著值，通过显著值得到图像的显著性区域。结合显著性区域以及生成的图像场景图，根据定义规则最终生成面向主题的图像场景图。本发明解决了现有场景图中存在主题无关目标的问题。

公开(公告)号：CN113689514A

公开(公告)日：2021-11-23

申请号：CN202110726055.0

申请日：2021-06-29

Applicant: 杭州电子科技大学

Inventor： 张旻 ,  陈景翔 ,  姜明

IPC: G06T11/00 ,  G06K9/00 ,  G06K9/46 ,  G06K9/62

Abstract: 本发明公开了一种面向主题的图像场景图生成方法。本发明首先使用LDA概率主题模型，提取文本的主题概率分布以及主题的词汇分布，构建图像主题数据集。然后利用图像主题数据集，预训练得到图像主题预测模型。其次，模型对图像进行目标检测，并融合全局特征、目标特征、类别特征以及主题特征得到关系特征，对检测的目标预测其属性以及目标间的关系，训练得到场景图生成模型。使用U‑2‑Net对图像进行显著性检测，并利用检测结果得到图像中各像素点的显著值，通过显著值得到图像的显著性区域。结合显著性区域以及生成的图像场景图，根据定义规则最终生成面向主题的图像场景图。本发明解决了现有场景图中存在主题无关目标的问题。