-
公开(公告)号:CN109829499B
公开(公告)日:2020-10-27
申请号:CN201910097903.9
申请日:2019-01-31
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于同一特征空间的图文数据融合情感分类方法和装置。该方法的步骤包括:1)使用自动编码机提取多模态数据中图片的压缩特征表达;2)使用CNN‑DCNN网络提取多模态数据中文字的压缩特征表达;3)将步骤1)、2)得到的图片特征和文本特征映射到同一个特征向量空间,得到图文整体特征;4)通过分类器对步骤3)得到的图文整体特征进行分类,得到情感分类结果。本发明将图、文特征映射到同一个空间下,再对整体信息进行情感分类,可以同时捕捉到微博等多模态数据的图、文数据之间语义相关性和情感相关性。
-
公开(公告)号:CN109829499A
公开(公告)日:2019-05-31
申请号:CN201910097903.9
申请日:2019-01-31
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于同一特征空间的图文数据融合情感分类方法和装置。该方法的步骤包括:1)使用自动编码机提取多模态数据中图片的压缩特征表达;2)使用CNN-DCNN网络提取多模态数据中文字的压缩特征表达;3)将步骤1)、2)得到的图片特征和文本特征映射到同一个特征向量空间,得到图文整体特征;4)通过分类器对步骤3)得到的图文整体特征进行分类,得到情感分类结果。本发明将图、文特征映射到同一个空间下,再对整体信息进行情感分类,可以同时捕捉到微博等多模态数据的图、文数据之间语义相关性和情感相关性。
-
公开(公告)号:CN109934260A
公开(公告)日:2019-06-25
申请号:CN201910098349.6
申请日:2019-01-31
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于随机森林的图文数据融合情感分类方法和装置。该方法的步骤包括:1)提取多模态数据中图片的特征和文本的特征;2)将提取的图片的特征与文本的特征进行合并,得到图文整体特征;3)通过Corruption机制对图文整体特征进行特征选择;4)通过随机森林分类器对进行特征选择后的图文整体特征进行分类,得到情感分类结果。优选地,通过VGG-ISC网络提取多模态数据中图片的特征,通过CNN-TSC网络提取多模态数据中文本的特征。本发明可以有效的获取到单个模态上的特征,并且可以将二者的特征向量合并起来,作为一个整体的特征放入随机森林进行分类学习并进行情感分类。
-
-