-
公开(公告)号：CN112580612B
公开(公告)日：2021-06-08
申请号：CN202110196564.7
申请日：2021-02-22
Applicant: 中国科学院自动化研究所
Abstract: 本申请涉及一种生理信号预测方法，包括：采集视频文件，视频文件中包含有长时视频，视频的文件内容含有单个人的面部和真实生理信号数据；将单个长时视频分割成多段短时视频片段，每段短时视频片段具有固定帧数，并且每段短时视频片段对应一个真实生理信号标签；利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包含时间和空间信息的时空图；将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。
-
公开(公告)号：CN112580612A
公开(公告)日：2021-03-30
申请号：CN202110196564.7
申请日：2021-02-22
Applicant: 中国科学院自动化研究所
Abstract: 本申请涉及一种生理信号预测方法，包括：采集视频文件，视频文件中包含有长时视频，视频的文件内容含有单个人的面部和真实生理信号数据；将单个长时视频分割成多段短时视频片段，每段短时视频片段具有固定帧数，并且每段短时视频片段对应一个真实生理信号标签；利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包含时间和空间信息的时空图；将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。
-
公开(公告)号：CN113255635B
公开(公告)日：2021-10-15
申请号：CN202110812718.0
申请日：2021-07-19
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供多模态融合的心理压力分析方法，包括：把长的音视频切分为带有面部和语音的短音视频，并对短音视频进行分帧处理，得到图像序列和语音信号；对图像序列进行面部特征提取，得到面部帧序列；应用光流法对所述面部帧序列的相邻帧提取光流，得到光流序列；将面部帧序列和所述光流序列融合，进行线性映射得到面部嵌入向量；对图像序列提取感兴趣区，得到感兴趣序列，进行线性映射得到生理信号嵌入向量；以帧为单位提取所述语音信号的基本声学特征，进行线性映射得到声学嵌入向量；对语音信号和图像序列提取情感特征；将上述特征按帧序列的时间顺序融合，得到时空特征向量；将时空特征向量输入模型，再经过softmax分类得到心理压力等级。
-
公开(公告)号：CN113255635A
公开(公告)日：2021-08-13
申请号：CN202110812718.0
申请日：2021-07-19
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供多模态融合的心理压力分析方法，包括：把长的音视频切分为带有面部和语音的短音视频，并对短音视频进行分帧处理，得到图像序列和语音信号；对图像序列进行面部特征提取，得到面部帧序列；应用光流法对所述面部帧序列的相邻帧提取光流，得到光流序列；将面部帧序列和所述光流序列融合，进行线性映射得到面部嵌入向量；对图像序列提取感兴趣区，得到感兴趣序列，进行线性映射得到生理信号嵌入向量；以帧为单位提取所述语音信号的基本声学特征，进行线性映射得到声学嵌入向量；对语音信号和图像序列提取情感特征；将上述特征按帧序列的时间顺序融合，得到时空特征向量；将时空特征向量输入模型，再经过softmax分类得到心理压力等级。
-
-
-
Search Results
4
records
(took 0.05 seconds)
