公开(公告)号：CN113282721B

公开(公告)日：2023-07-21

申请号：CN202110464526.5

申请日：2021-04-28

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  乔康 ,  管聪 ,  秦熔均 ,  袁雷 ,  张云天 ,  胡毅奇

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/338 ,  G06N3/045

Abstract: 本申请提供了一种基于网络结构搜索的视觉问答方法，包括如下步骤：采用第一人工神经网络模型对原始图片进行特征提取；采用第二人工神经网络模型对文本信息进行特征提取；待搜索的网络结构框架为编码‑解码器框架，定义三种搜索算子供框架网络搜索，所述搜索算子的输入为基于所述原始图片或/和所述文本信息所提取的图像特征或文本特征；使用基于梯度交替优化策略搜索网络结构的架构权重和算子的操作权重；使搜索网络按照多分类的方法输出候选词向量，并选择概率最大的词向量作为答案输出。本申请的有益之处在于提供了一种能在更大的空间搜索出更好的效果的基于网络结构搜索的视觉问答方法。

公开(公告)号：CN113282721A

公开(公告)日：2021-08-20

申请号：CN202110464526.5

申请日：2021-04-28

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  乔康 ,  管聪 ,  秦熔均 ,  袁雷 ,  张云天 ,  胡毅奇

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/338 ,  G06N3/04

Abstract: 本申请提供了一种基于网络结构搜索的视觉问答方法，包括如下步骤：采用第一人工神经网络模型对原始图片进行特征提取；采用第二人工神经网络模型对文本信息进行特征提取；待搜索的网络结构框架为编码‑解码器框架，定义三种搜索算子供框架网络搜索，所述搜索算子的输入为基于所述原始图片或/和所述文本信息所提取的图像特征或文本特征；使用基于梯度交替优化策略搜索网络结构的架构权重和算子的操作权重；使搜索网络按照多分类的方法输出候选词向量，并选择概率最大的词向量作为答案输出。本申请的有益之处在于提供了一种能在更大的空间搜索出更好的效果的基于网络结构搜索的视觉问答方法。