公开(公告)号：CN110852368A

公开(公告)日：2020-02-28

申请号：CN201911068737.6

申请日：2019-11-05

Applicant: 南京邮电大学

Inventor： 刘天亮 ,  林明亮 ,  戴修斌 ,  谢世朋

IPC: G06K9/62 ,  G06K9/46 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种全局与局部特征嵌入及图文融合的情感分析方法与系统，该方法首先利用卷积神经网络提取图像的全局特征，同时利用迁移学习训练目标检测模型，对图像中携带情感的局部区域进行检测定位，提取局部区域特征并嵌入到全局特征共同训练图像情感分类模型，得到图像的情感极性概率。接着将文本表示为包含丰富语义信息的词向量，输入到可提取文本语义上下文特征的双向LSTM进行情感分类，得到文本的情感的极性概率。最后根据后期融合公式，得到图像及文本融合后的情感极性概率，进行图文情感分析。本发明能有效的关注图文的情感信息，并通过图像的全局与局部情感特征的提取以及文本信息的融合，提高图文情感分类的准确性和鲁棒性。

公开(公告)号：CN110852368B

公开(公告)日：2022-08-26

申请号：CN201911068737.6

申请日：2019-11-05

Applicant: 南京邮电大学

Inventor： 刘天亮 ,  林明亮 ,  戴修斌 ,  谢世朋

IPC: G06K9/62 ,  G06V10/80 ,  G06V10/42 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种全局与局部特征嵌入及图文融合的情感分析方法与系统，该方法首先利用卷积神经网络提取图像的全局特征，同时利用迁移学习训练目标检测模型，对图像中携带情感的局部区域进行检测定位，提取局部区域特征并嵌入到全局特征共同训练图像情感分类模型，得到图像的情感极性概率。接着将文本表示为包含丰富语义信息的词向量，输入到可提取文本语义上下文特征的双向LSTM进行情感分类，得到文本的情感的极性概率。最后根据后期融合公式，得到图像及文本融合后的情感极性概率，进行图文情感分析。本发明能有效的关注图文的情感信息，并通过图像的全局与局部情感特征的提取以及文本信息的融合，提高图文情感分类的准确性和鲁棒性。