-
公开(公告)号：CN114463827A
公开(公告)日：2022-05-10
申请号：CN202210380482.2
申请日：2022-04-12
Applicant: 之江实验室
IPC: G06V40/16 , G06V10/774 , G06K9/62 , G10L25/63
Abstract: 本发明提出了一种基于DS证据理论的多模态实时情绪识别方法及系统，该方法包括：步骤一，搭建虚拟现实场景，部署语音对话模块和面部表情识别模块，被试者通过语音对话模块进行实时语音对话，并通过虚拟现实头戴式设备同步采集被试者语音数据、人脸数据和瞳孔数据；步骤二，在语音数据上提取特征向量，输入到训练好的语音情绪识别模型，输出语音情绪识别结果；步骤三，在人脸数据上提取人脸几何特征向量，融合瞳孔直径特征，输入到训练好的面部表情情绪识别模型，输出面部表情情绪识别结果；步骤四，将语音情绪识别结果和面部表情情绪识别结果通过DS证据理论融合得到综合情绪识别结果。本发明能有效提高情绪识别的准确率，具有广泛的应用前景。
-
公开(公告)号：CN112712824B
公开(公告)日：2021-06-29
申请号：CN202110322720.X
申请日：2021-03-26
Applicant: 之江实验室
Abstract: 本发明属于人工智能领域，具体涉及一种融合人群信息的语音情感识别方法和系统，该方法包括以下步骤：S1、采集用户语音信号；S2、预处理语音信号，获取梅尔谱；S3、切除梅尔谱前后静音段；S4、通过人群分类网络获取深度人群信息；S5、通过梅尔谱预处理网络获取梅尔谱深度信息；S6、通过SENet融合特征，获取融合信息；S7、通过分类网络，得到情感识别结构。本发明融合人群信息特征，使情感特征提取更加准确，通过SENet的通道注意力机制进行信息融合，能够有效的进行深度特征的提取，提高整体识别精度。
-
公开(公告)号：CN112560824A
公开(公告)日：2021-03-26
申请号：CN202110200931.6
申请日：2021-02-23
Applicant: 之江实验室
Abstract: 本发明公开一种基于多特征自适应融合的人脸表情识别方法。采用的技术方案包括步骤：S1、从待识别表情图像中检测出对应的人脸区域，截取人脸区域图像块后，用于表情识别；S2、利用多种特征提取方法对人脸区域进行特征提取；S3、将特征集合中的元素进行自适应融合；S4、将融合后的特征进行识别。优点如下：融合多种特征对人脸表情进行识别，由于特征提取方式的不同，例如HOG通过计算和统计图像局部区域的梯度方向直方图来构成特征而LBP则通过对比中心元素与周围像素点大小来提取图像局部纹理特征；因此，不同人脸表情特征方式具有表达不同的表情信息的能力，而特征融合能有效将特征间的信息进行合并提高特征的信息量。
-
公开(公告)号：CN116343314B
公开(公告)日：2023-08-25
申请号：CN202310623737.8
申请日：2023-05-30
Applicant: 之江实验室
Abstract: 本说明书公开了一种表情识别方法、装置、存储介质及电子设备，本说明书实施例在对采集的视频进行人脸检测得到各人脸图像之后，通过情绪检测模型确定出各人脸图像的情绪检测结果。情绪检测结果用于表示人脸情绪起伏程度。然后，根据各人脸图像的情绪检测结果，从预先对各人脸图像进行分组所得到的各组合中选择出目标组合。将目标组合中的人脸图像输入到表情识别模型中以输出表情类别，并基于输出的表情类别，确定出最终表情类别。在此方法中，通过情绪检测模型从视频中筛选出人脸情绪起伏程度最大的关键视频段，并通过表情识别模型只对关键视频段中人脸的表情进行识别，无需对视频中的其他视频段进行人脸表情识别，从而提高表情识别的准确性。
-
公开(公告)号：CN112597841B
公开(公告)日：2023-04-18
申请号：CN202011468475.5
申请日：2020-12-14
Applicant: 之江实验室
Abstract: 本发明涉及到多模态情感分析领域，提出了一种基于门机制多模态融合的情感分析方法，具体为：首先获取多模态情感分析数据，针对不同模态特点提取特征表示；通过不同模态特征的表示获得每个模态特征对应的模态信息门；使用不同模态信息门对各模态进行模态增强，丰富模态信息表示；拼接不同模态表示得到多模态融合表示，使用多模态融合表示进行情感分类。本发明可以更好地增强主体情感表达模态的作用，削弱冗余情感表达模态的负面影响，帮助多模态特征情感识别更加精确。
-
Patent Agency Ranking
公开(公告)号：CN112712824A
公开(公告)日：2021-04-27
申请号：CN202110322720.X
申请日：2021-03-26
Applicant: 之江实验室
Abstract: 本发明属于人工智能领域，具体涉及一种融合人群信息的语音情感识别方法和系统，该方法包括以下步骤：S1、采集用户语音信号；S2、预处理语音信号，获取梅尔谱；S3、切除梅尔谱前后静音段；S4、通过人群分类网络获取深度人群信息；S5、通过梅尔谱预处理网络获取梅尔谱深度信息；S6、通过SENet融合特征，获取融合信息；S7、通过分类网络，得到情感识别结构。本发明融合人群信息特征，使情感特征提取更加准确，通过SENet的通道注意力机制进行信息融合，能够有效的进行深度特征的提取，提高整体识别精度。
-
公开(公告)号：CN113837153B
公开(公告)日：2022-03-18
申请号：CN202111410951.2
申请日：2021-11-25
Applicant: 之江实验室
IPC: G06V40/16 , G06V40/18 , G06V10/764 , G06V10/774 , G06K9/62
Abstract: 本发明属于人工智能和认知科学的交叉领域，涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及系统，在沉浸式VR环境下利用HTC Vive Pro Eye虚拟现实头戴式设备和VR取像组件实时采集被试者瞳孔数据和人脸数据，提取人脸数据中的关键特征点，构造人脸几何结构特征向量，并融合瞳孔直径特征，采用支持向量机SVM分类器进行分类，从而在沉浸式环境中实时识别被试者情绪。本发明基于沉浸式VR头戴式设备进行实时人脸捕捉，同时融合瞳孔数据进行实时情绪识别，提高了情绪识别的准确率，能够在沉浸式虚拟现实环境中进行实时隐式测量，在情绪研究领域具有广泛的应用前景。
-
公开(公告)号：CN113378806A
公开(公告)日：2021-09-10
申请号：CN202110934743.6
申请日：2021-08-16
Applicant: 之江实验室
IPC: G06K9/00 , G06K9/62 , G06T13/40 , G06N3/04 , G06N3/08 , G10L15/02 , G10L15/06 , G10L15/16 , G10L25/30 , G10L25/63
Abstract: 本发明属于人工智能领域，涉及一种融合情感编码的音频驱动人脸动画生成方法及系统，该方法为：首先对采集的音频信号进行预处理，提取MFCC特征后输入语音识别模块，进一步提取音频特征，同时将MFCC特征输入语音情感识别模块，得到情感类别并进行one‑hot编码，然后将音频特征和情感的one‑hot编码向量进行连接，输入表情识别模块得到基于3DMM模型的表情系数，最后将表情系数与人脸模板输入人脸动画生成模块，得到带表情的3D人脸动画。本发明方法计算量小，训练稳定，流程简单，成本低廉，能够极大的降低电影制作周期和成本，且充分考虑了语音传达的情感状态，对在网络中输入了情感编码，使得生成的人脸动画更加生动形象，能够给用户带来更优质的体验。
-
公开(公告)号：CN112560824B
公开(公告)日：2021-06-01
申请号：CN202110200931.6
申请日：2021-02-23
Applicant: 之江实验室
Abstract: 本发明公开一种基于多特征自适应融合的人脸表情识别方法。采用的技术方案包括步骤：S1、从待识别表情图像中检测出对应的人脸区域，截取人脸区域图像块后，用于表情识别；S2、利用多种特征提取方法对人脸区域进行特征提取；S3、将特征集合中的元素进行自适应融合；S4、将融合后的特征进行识别。优点如下：融合多种特征对人脸表情进行识别，由于特征提取方式的不同，例如HOG通过计算和统计图像局部区域的梯度方向直方图来构成特征而LBP则通过对比中心元素与周围像素点大小来提取图像局部纹理特征；因此，不同人脸表情特征方式具有表达不同的表情信息的能力，而特征融合能有效将特征间的信息进行合并提高特征的信息量。
-
公开(公告)号：CN112579762A
公开(公告)日：2021-03-30
申请号：CN202110205409.7
申请日：2021-02-24
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/35
Abstract: 本发明涉及到情感分析领域，提出了一种基于语义、情感惯性和情感共性的对话情感分析方法，步骤包括：首先获取对话交替进行的多轮对话数据，并对不同人物角色进行标明；然后对多轮对话中的每条对话信息进行时序建模，提取出其中对应的语义信息表达序列；最后基于多轮对话所提取的语义信息表达序列，分离出对应的情感状态表达序列，并进行情感识别。在本发明中，打破了传统的以语义信息决定情感分类的做法，提出了由语义状态与情感状态分离的方法，由情感状态决定情感分类，从心理学的角度改进了现有对话情感分析方法，提升了情感识别的效果。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.018 seconds)
