-
公开(公告)号：CN113642522B
公开(公告)日：2022-02-08
申请号：CN202111021587.0
申请日：2021-09-01
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供基于音视频的疲劳状态检测方法和装置，包括：通过人脸识别技术在本地驾驶员档案数据库中确认目标驾驶员身份，如果没有对应人员信息，则新建驾驶员档案；在车辆驾驶过程中，采集目标驾驶员在驾驶过程中的音视频信息和生理信息，并提取出所述音视频信息和生理信息中与疲劳检测相关的数据，得到疲劳检测数据；面部视频信息、整体躯干部位视频信息和音频信息；根据疲劳检测数据和历史的疲劳检测数据对目标驾驶员当前状态进行分析，得出局部疲劳状态；根据局部疲劳状态，以及目标驾驶员当前持续驾驶时间，计算目标驾驶员综合疲劳状态并根据映射关系进行安全评价，根据安全评价的等级对所述目标驾驶员进行防疲劳驾驶示警操作。
-
公开(公告)号：CN113469153B
公开(公告)日：2022-01-11
申请号：CN202111033403.2
申请日：2021-09-03
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供了一种基于微表情、肢体动作和语音的多模态情感识别方法，包括：第一步输入受试者接收某种信号的刺激的面部视频，对微表情进行识别；第二步输入受试者接收某种信号的刺激的身体视频，对肢体动作进行识别；第三步输入受试者接收某种信号的刺激的音频信号，对语音情感进行识别。将步骤第一步中的微表情识别结果和步骤第二步中肢体动作识别结果和第三步中的语音情感识别结果相融合，判断当前受试者的连续情感状态。本方法通过微表情识别出的情感和肢体动作识别和语音情感识别结果情感相结合，更准确的预测出受试者的情感状态。本发明的有益效果是：相较于现有技术，本发明可以更加准确的识别出人的真实情感。
-
公开(公告)号：CN113255800A
公开(公告)日：2021-08-13
申请号：CN202110615003.6
申请日：2021-06-02
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供基于音视频的鲁棒情感建模系统，包括：原始音频训练数据通过音频数据扩增模块进行数据扩增，得到带噪音频训练数据去训练音频数据增强模块，剔除带噪音频训练数据中的噪声信息，得到增强语音训练数据，将增强语音训练数据输入音频情感识别模块，进行训练并识别音频训练情感状态；原始视频训练数据通过视频数据扩增模块进行数据扩增，得到带噪视频训练数据去训练视频数据增强模块，剔除带噪视频训练数据中的噪声信息，得到增强视频训练数据，将增强视频训练数据输入视频情感识别模块，进行训练并识别视频训练情感状态；决策层融合模块将音频训练情感状态和视频训练情感状态融合，进行训练并输出情感识别预测结果。
-
公开(公告)号：CN113255635A
公开(公告)日：2021-08-13
申请号：CN202110812718.0
申请日：2021-07-19
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供多模态融合的心理压力分析方法，包括：把长的音视频切分为带有面部和语音的短音视频，并对短音视频进行分帧处理，得到图像序列和语音信号；对图像序列进行面部特征提取，得到面部帧序列；应用光流法对所述面部帧序列的相邻帧提取光流，得到光流序列；将面部帧序列和所述光流序列融合，进行线性映射得到面部嵌入向量；对图像序列提取感兴趣区，得到感兴趣序列，进行线性映射得到生理信号嵌入向量；以帧为单位提取所述语音信号的基本声学特征，进行线性映射得到声学嵌入向量；对语音信号和图像序列提取情感特征；将上述特征按帧序列的时间顺序融合，得到时空特征向量；将时空特征向量输入模型，再经过softmax分类得到心理压力等级。
-
公开(公告)号：CN112329748B
公开(公告)日：2021-04-30
申请号：CN202110001077.0
申请日：2021-01-04
Applicant: 中国科学院自动化研究所
Abstract: 本申请实施例涉及一种面向交互场景的自动谎言检测方法、装置、设备及介质，旨在提高自动谎言检测的准确率。所述方法包括：将待测样片分别按照视频、音频和文本这三个模态进行切分，提取出这三个模态的短时特征，将待测样片中每句对话中三个模态的短时特征分别进行融合，得到每句对话对应的三个模态的长时特征，使用自注意力机制对三个模态的长时特征进行融合，得到每句对话的多模态特征，通过图神经网络为每句对话的多模态特征融合交互信息，得到融合交互信息的多模态特征，根据融合交互信息的多模态特征，预测每句对话的谎言水平。
-
Patent Agency Ranking
公开(公告)号：CN112329746B
公开(公告)日：2021-04-16
申请号：CN202110001041.2
申请日：2021-01-04
Applicant: 中国科学院自动化研究所
Abstract: 本申请实施例涉及数据处理领域，具体涉及一种多模态谎言检测方法、装置、设备，旨在提高自动谎言检测的准确率。所述方法包括：输入待测音频、待测视频以及待测文本这三个模态的原始数据；对输入内容分别进行特征提取，得到三个模态的深度特征；对这三个模态的深度特征中的一阶、二阶以及三阶交互关系进行显式刻画，得到每个词的融合后的多模态特征；对所述每个词的融合后的多模态特征进行上下文建模，得到每个词的最终的特征；对上述每个词的最终的特征进行池化得到全局特征，然后通过全连接层得到谎言分类结果。
-
公开(公告)号：CN112579745A
公开(公告)日：2021-03-30
申请号：CN202110196514.9
申请日：2021-02-22
Applicant: 中国科学院自动化研究所
IPC: G06F16/33 , G06F16/332 , G06F16/35 , G06F40/211 , G06F40/216 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本申请涉及基于图神经网络的对话情感纠错模型，包括：多模态特征抽取模块、基于单句的情感识别模块、交互建模模块、时序建模模块和情感预测模块；所述多模态特征抽取模块和所述基于单句的情感识别模块连接，所述基于单句的情感识别模块与所述交互建模模块连接，所述交互建模模块与所述时序建模模块连接，所述时序建模模块与所述情感预测模块连接。
-
公开(公告)号：CN108364662B
公开(公告)日：2021-01-05
申请号：CN201711481953.4
申请日：2017-12-29
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及语音情感识别领域，具体涉及一种基于成对鉴别任务的语音情感识别方法与系统。目的在于解决情感标签的模糊性问题。本发明的语音情感识别系统，在训练过程中，将语音数据随机配对；然后提取语谱图特征并利用第一音向量提取模型生成成对音向量；再利用判别网络模型计算成对音频训练数据属于同一情感类别的概率；计算损失函数时，同时考虑成对音向量之间的余弦相似性损失，以及判别网络模型的输出值和预设标签之间的交叉熵。对于待识别语音，先提取语谱图特征，再用训练好的第一音向量提取模型生成音向量，最后用训练好的支持向量机进行情感分类。本发明通过成对鉴别任务训练语音情感模型，提升了基于语音的情感识别系统的性能。
-
公开(公告)号：CN113642522A
公开(公告)日：2021-11-12
申请号：CN202111021587.0
申请日：2021-09-01
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供基于音视频的疲劳状态检测方法和装置，包括：通过人脸识别技术在本地驾驶员档案数据库中确认目标驾驶员身份，如果没有对应人员信息，则新建驾驶员档案；在车辆驾驶过程中，采集目标驾驶员在驾驶过程中的音视频信息和生理信息，并提取出所述音视频信息和生理信息中与疲劳检测相关的数据，得到疲劳检测数据；面部视频信息、整体躯干部位视频信息和音频信息；根据疲劳检测数据和历史的疲劳检测数据对目标驾驶员当前状态进行分析，得出局部疲劳状态；根据局部疲劳状态，以及目标驾驶员当前持续驾驶时间，计算目标驾驶员综合疲劳状态并根据映射关系进行安全评价，根据安全评价的等级对所述目标驾驶员进行防疲劳驾驶示警操作。
-
公开(公告)号：CN113255635B
公开(公告)日：2021-10-15
申请号：CN202110812718.0
申请日：2021-07-19
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供多模态融合的心理压力分析方法，包括：把长的音视频切分为带有面部和语音的短音视频，并对短音视频进行分帧处理，得到图像序列和语音信号；对图像序列进行面部特征提取，得到面部帧序列；应用光流法对所述面部帧序列的相邻帧提取光流，得到光流序列；将面部帧序列和所述光流序列融合，进行线性映射得到面部嵌入向量；对图像序列提取感兴趣区，得到感兴趣序列，进行线性映射得到生理信号嵌入向量；以帧为单位提取所述语音信号的基本声学特征，进行线性映射得到声学嵌入向量；对语音信号和图像序列提取情感特征；将上述特征按帧序列的时间顺序融合，得到时空特征向量；将时空特征向量输入模型，再经过softmax分类得到心理压力等级。
-
-
-
-
-
-
-
-
-
Search Results
23
records
(took 0.036 seconds)
