-
公开(公告)号:CN110210499B
公开(公告)日:2023-10-13
申请号:CN201910477799.6
申请日:2019-06-03
Applicant: 中国矿业大学
Abstract: 本发明涉及一种图像语义描述的自适应生成系统,属于图像语义描述技术领域。该系统包括图像读取器、编码器、解码器和语义描述显示器;所述图像读取器,用于获取待语义描述的图像;所述编码器包括全局特征提取单元、局部特征提取单元以及图像特征组合单元;所述解码器包括单层或多层神经网络,所述神经网络包括LSTM部分、Attention部分和MLP部分,生成语义描述模型;其中,Attention部分采用自适应注意力机制;所述解码器根据所述编码器输出的组合信息利用所述语义描述模型生成图像语义描述的词句;所述语义描述显示器,用于输出显示所述图像语义描述的词句。本发明实现了确定图像的关注重点,挖掘更高层次的语义信息,完善描述单词或句子的细节信息问题。
-
公开(公告)号:CN110210499A
公开(公告)日:2019-09-06
申请号:CN201910477799.6
申请日:2019-06-03
Applicant: 中国矿业大学
Abstract: 本发明涉及一种图像语义描述的自适应生成系统,属于图像语义描述技术领域。该系统包括图像读取器、编码器、解码器和语义描述显示器;所述图像读取器,用于获取待语义描述的图像;所述编码器包括全局特征提取单元、局部特征提取单元以及图像特征组合单元;所述解码器包括单层或多层神经网络,所述神经网络包括LSTM部分、Attention部分和MLP部分,生成语义描述模型;其中,Attention部分采用自适应注意力机制;所述解码器根据所述编码器输出的组合信息利用所述语义描述模型生成图像语义描述的词句;所述语义描述显示器,用于输出显示所述图像语义描述的词句。本发明实现了确定图像的关注重点,挖掘更高层次的语义信息,完善描述单词或句子的细节信息问题。
-
公开(公告)号:CN110188779A
公开(公告)日:2019-08-30
申请号:CN201910477031.9
申请日:2019-06-03
Applicant: 中国矿业大学
Abstract: 本发明涉及一种图像语义描述的生成方法,属于图像语义描述技术领域。该方法包括以下步骤:S1,提取图像的全局特征和局部特征;S2,将所述全局特征和所述局部特征进行组合得到组合信息;S3,通过自适应注意力机制并根据所述组合信息聚焦图像特征及聚焦文本生成语义描述模型,利用所述语义描述模型生成图像语义描述的词句。本发明解决了目前图像语义描述技术存在的确定图像的关注重点,挖掘更高层次的语义信息,完善描述单词或句子的细节信息问题。
-
-