-
公开(公告)号：CN107480206A
公开(公告)日：2017-12-15
申请号：CN201710611041.8
申请日：2017-07-25
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于多模态低秩双线性池化的图像内容问答方法。本发明包括以下步骤：1、对图像和以自然语言描述的问题，答案文本进行数据预处理，2、多模态低秩双线性池化模型，进行特征融合。3、基于MFB池化模型和协同关注点模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的神经网络模型，特别是提出一种图像问答领域中对图像-问题的跨媒体数据进行统一建模的方法，以及在图像和问题细粒度特征上学习“协同关注点”进行建模表达的网络结构，并且获得了目前在图像问答领域中的最好效果。
-
公开(公告)号：CN109712108B
公开(公告)日：2021-02-02
申请号：CN201811305577.8
申请日：2018-11-05
Applicant: 杭州电子科技大学
IPC: G06T7/00
Abstract: 本发明公开了一种基于多样鉴别性候选框生成网络的针对视觉定位方法。本发明包括以下步骤：1、训练多样鉴别性候选框生成网络。2、使用训练好的DDPN网络对图像提取特征。3、提取文本数据特征。4、构建目标向量以及回归框的目标值。5、构建深度神经网络。6、设置损失函数。7、训练模型。8、计算网络预测值。本发明所提出的算法，尤其是基于DDPN网络的对图像提取特征的算法在图像视觉定位任务上取得了显著性的提升效果，大幅度的超越了目前在该任务上的所有主流方法。并且本发明的特征提取算法在其他跨模态相关领域中如图像内容问答和图像描述中也具有十分重要的应用价值和巨大的潜力。
-
公开(公告)号：CN107480206B
公开(公告)日：2020-06-12
申请号：CN201710611041.8
申请日：2017-07-25
Applicant: 杭州电子科技大学
IPC: G06F16/583 , G06F40/289 , G06N3/08
Abstract: 本发明公开了一种基于多模态低秩双线性池化的图像内容问答方法。本发明包括以下步骤：1、对图像和以自然语言描述的问题，答案文本进行数据预处理，2、多模态低秩双线性池化模型，进行特征融合。3、基于MFB池化模型和协同关注点模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的神经网络模型，特别是提出一种图像问答领域中对图像‑问题的跨媒体数据进行统一建模的方法，以及在图像和问题细粒度特征上学习“协同关注点”进行建模表达的网络结构，并且获得了目前在图像问答领域中的最好效果。
-
公开(公告)号：CN109712108A
公开(公告)日：2019-05-03
申请号：CN201811305577.8
申请日：2018-11-05
Applicant: 杭州电子科技大学
IPC: G06T7/00
Abstract: 本发明公开了一种基于多样鉴别性候选框生成网络的针对视觉定位方法。本发明包括以下步骤：1、训练多样鉴别性候选框生成网络。2、使用训练好的DDPN网络对图像提取特征。3、提取文本数据特征。4、构建目标向量以及回归框的目标值。5、构建深度神经网络。6、设置损失函数。7、训练模型。8、计算网络预测值。本发明所提出的算法，尤其是基于DDPN网络的对图像提取特征的算法在图像视觉定位任务上取得了显著性的提升效果，大幅度的超越了目前在该任务上的所有主流方法。并且本发明的特征提取算法在其他跨模态相关领域中如图像内容问答和图像描述中也具有十分重要的应用价值和巨大的潜力。
-
-
-
Search Results
4
records
(took 0.026 seconds)
