公开(公告)号：CN111324758A

公开(公告)日：2020-06-23

申请号：CN202010092633.5

申请日：2020-02-14

Applicant: 北京工业大学

Inventor： 杜卓然 ,  冀俊忠 ,  张晓丹

IPC: G06F16/50 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了基于发散-聚合注意力的图像描述方法，获取MS COCO图像描述数据集并预处理：构建多角度观察模型，实现从MS COCO图像数据I的视觉以及细粒度语义信息的提取，得到图像特征V以及细粒度语义信息S*：构建聚合注意力模型；语言生成模型。本发明将这两种思维方式引入到了模型设计中，提出了发散-聚合注意力模型，实现了视觉信息和语义信息的交互。图1是发散-聚合注意力模型的概念图，可以看到通过发散观察和聚合注意力模块，模型产生了更生动准确的描述。

公开(公告)号：CN111324758B

公开(公告)日：2022-05-17

申请号：CN202010092633.5

申请日：2020-02-14

Applicant: 北京工业大学

Inventor： 杜卓然 ,  冀俊忠 ,  张晓丹

IPC: G06F16/50 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了基于发散‑聚合注意力的图像描述方法，获取MS COCO图像描述数据集并预处理：构建多角度观察模型，实现从MS COCO图像数据I的视觉以及细粒度语义信息的提取，得到图像特征V以及细粒度语义信息S*：构建聚合注意力模型；语言生成模型。本发明将这两种思维方式引入到了模型设计中，提出了发散‑聚合注意力模型，实现了视觉信息和语义信息的交互。图1是发散‑聚合注意力模型的概念图，可以看到通过发散观察和聚合注意力模块，模型产生了更生动准确的描述。