公开(公告)号：CN111553371B

公开(公告)日：2023-04-18

申请号：CN202010306512.6

申请日：2020-04-17

Applicant: 中国矿业大学

Inventor： 赵小虎 ,  有鹏 ,  李晓 ,  常先红 ,  宋瑞军 ,  张楠

IPC: G06V10/42 ,  G06N3/0442 ,  G06V10/82

Abstract: 本发明涉及一种基于多特征提取的图像语义描述方法及系统，属于图像特征提取技术领域，解决了现有技术提取的图像特征单一且长短时记忆网络只能捕捉单向时序信息等问题。该方法包括：将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量；提取所述图像的属性特征向量；将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络，得到前向联合损失函数和后向联合损失函数；对所述前向联合损失函数和后向联合损失函数累加求和，当所述和最小时，获得与所述图像最佳匹配的语义描述。实现了多个图像特征的提取，提高了语义描述的精确度。

公开(公告)号：CN111553371A

公开(公告)日：2020-08-18

申请号：CN202010306512.6

申请日：2020-04-17

Applicant: 中国矿业大学

Inventor： 赵小虎 ,  有鹏 ,  李晓 ,  常先红 ,  宋瑞军 ,  张楠

IPC: G06K9/46 ,  G06N3/04

Abstract: 本发明涉及一种基于多特征提取的图像语义描述方法及系统，属于图像特征提取技术领域，解决了现有技术提取的图像特征单一且长短时记忆网络只能捕捉单向时序信息等问题。该方法包括：将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量；提取所述图像的属性特征向量；将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络，得到前向联合损失函数和后向联合损失函数；对所述前向联合损失函数和后向联合损失函数累加求和，当所述和最小时，获得与所述图像最佳匹配的语义描述。实现了多个图像特征的提取，提高了语义描述的精确度。