-
公开(公告)号：CN111461174B
公开(公告)日：2023-04-07
申请号：CN202010152922.X
申请日：2020-03-06
Applicant: 西北大学
IPC: G06V10/764 , G06F18/241 , G06V10/774 , G06F18/214 , G06V10/80 , G06F18/25 , G06V10/82 , G06N3/0464 , G06N3/0442 , G06N3/08 , G06F16/9535 , G06F16/958
Abstract: 本发明公开了一种多层次注意力机制的多模态标签推荐模型构建方法及装置，提取图像的特征对图像特征使用外积，进行双线性融合后再通过一个注意力网络层，获取图像中每个区域的注意力因子，将注意力因子与原始特征进行逐元素乘积，得到最后的图像特征表达；对文本进行词嵌入并使用Bi‑LSTM网络对文本特征提取，然后通过一个注意力网络层与原始特征进行乘积，得到最后的文本信息表达。然后通过一个双线性融合层，将图像和文本特征进行融合，然后将融合后的特征输入到高层次注意力层，得到最后的联合特征表达，最后送入到分类层中，进行标签分类和推荐。在多模态信息处理的条件下，本发明联合层次注意力机制的方法提高了推荐的准确性。
-
Patent Agency Ranking
公开(公告)号：CN111461175B
公开(公告)日：2023-02-10
申请号：CN202010153562.5
申请日：2020-03-06
Applicant: 西北大学
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08 , G06F16/9535 , G06F16/958
Abstract: 本发明公开了一种自注意与协同注意机制的标签推荐模型构建方法及装置，通过VGG16网络提取图像的特征；使用WordEmbedding技术对文本进行词嵌入，并使用低层次的自注意力层代替LSTM提取文本特征。然后将图像特征和文本特征输入到高层次的协同注意力层，让图像特征和文本特征相互引导，获得图像和文本的注意力权重，基于注意力权重，分别与图像和文本特征进行相乘，最后获得图像和文本的注意力；为了让图像和文本的注意力信息更加丰富，我们对图像特征和文本特征进行平均池化。最后将这些特征进行融合送入到分类器中，进行标签分类和推荐；本发明采用自注意力与协同注意力机制结合的方法，提高了标签推荐的准确性以及效率。
-
公开(公告)号：CN111640500B
公开(公告)日：2023-09-05
申请号：CN202010362228.0
申请日：2020-04-30
Applicant: 西北大学
Abstract: 本发明公开了一种基于注意力机制和双线性融合的脑龄预测模型及方法，该方法通过3D CNN网络提取图像的特征；然后为了更好的丰富每个像素点的特征表达能力对提取后的图像特征进行双线性融合处理；同时由于注意力机制可以捕获影响脑龄的关键特征信息，降低与脑龄无关的特征信息关注度，所以将双线性融合处理后的图像特征输入到Attention层，获得图像的注意力权重，基于注意力权重，获得图像的注意力；最后将图像特征送入到全连接层，进行大脑年龄回归预测。本发明利用注意力机制和双线性融合结合的方法提高了大脑年龄预测的准确性。
-
公开(公告)号：CN111640500A
公开(公告)日：2020-09-08
申请号：CN202010362228.0
申请日：2020-04-30
Applicant: 西北大学
Abstract: 本发明公开了一种基于注意力机制和双线性融合的脑龄预测模型及方法，该方法通过3D CNN网络提取图像的特征；然后为了更好的丰富每个像素点的特征表达能力对提取后的图像特征进行双线性融合处理；同时由于注意力机制可以捕获影响脑龄的关键特征信息，降低与脑龄无关的特征信息关注度，所以将双线性融合处理后的图像特征输入到Attention层，获得图像的注意力权重，基于注意力权重，获得图像的注意力；最后将图像特征送入到全连接层，进行大脑年龄回归预测。本发明利用注意力机制和双线性融合结合的方法提高了大脑年龄预测的准确性。
-
公开(公告)号：CN111461175A
公开(公告)日：2020-07-28
申请号：CN202010153562.5
申请日：2020-03-06
Applicant: 西北大学
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06F16/9535 , G06F16/958
Abstract: 本发明公开了一种自注意与协同注意机制的标签推荐模型构建方法及装置，通过VGG16网络提取图像的特征；使用WordEmbedding技术对文本进行词嵌入，并使用低层次的自注意力层代替LSTM提取文本特征。然后将图像特征和文本特征输入到高层次的协同注意力层，让图像特征和文本特征相互引导，获得图像和文本的注意力权重，基于注意力权重，分别与图像和文本特征进行相乘，最后获得图像和文本的注意力；为了让图像和文本的注意力信息更加丰富，我们对图像特征和文本特征进行平均池化。最后将这些特征进行融合送入到分类器中，进行标签分类和推荐；本发明采用自注意力与协同注意力机制结合的方法，提高了标签推荐的准确性以及效率。
-
公开(公告)号：CN111461174A
公开(公告)日：2020-07-28
申请号：CN202010152922.X
申请日：2020-03-06
Applicant: 西北大学
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06F16/9535 , G06F16/958
Abstract: 本发明公开了一种多层次注意力机制的多模态标签推荐模型构建方法及装置，提取图像的特征对图像特征使用外积，进行双线性融合后再通过一个注意力网络层，获取图像中每个区域的注意力因子，将注意力因子与原始特征进行逐元素乘积，得到最后的图像特征表达；对文本进行词嵌入并使用Bi-LSTM网络对文本特征提取，然后通过一个注意力网络层与原始特征进行乘积，得到最后的文本信息表达。然后通过一个双线性融合层，将图像和文本特征进行融合，然后将融合后的特征输入到高层次注意力层，得到最后的联合特征表达，最后送入到分类层中，进行标签分类和推荐。在多模态信息处理的条件下，本发明联合层次注意力机制的方法提高了推荐的准确性。
-
-
-
-
-
Search Results
6
records
(took 0.02 seconds)
