基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

    公开(公告)号:CN110175596B

    公开(公告)日:2022-04-22

    申请号:CN201910481703.3

    申请日:2019-06-04

    Abstract: 本发明涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法,包括以下步骤:S1:微表情数据的预处理:对微表情视频进行欧拉视频放大并抽取图像序列,对图像序列进行人脸定位并裁剪,得到微表情的RGB数据;将欧拉视频放大后的数据提取光流信息,得到微表情的光流图像;S2:将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络,以学习到微表情的空间与时域信息;S3:将双流卷积神经网络的输出进行最大值融合,以增强识别准确率,得到最终的微表情识别模型;S4:使用微表情识别模型创建虚拟学习环境交互系统,并通过Kinect获取用户面部图像序列进行微表情识别任务。

    一种基于协同注意力的虚拟学习环境智能问答方法

    公开(公告)号:CN109766427B

    公开(公告)日:2021-04-06

    申请号:CN201910036927.3

    申请日:2019-01-15

    Abstract: 本发明涉及一种基于堆叠Bi‑LSTM网络和协同注意力的虚拟学习环境智能问答方法,属于自然语言处理和虚拟现实技术领域。该方法包括:S1:构建知识库及数据预处理;S2:特征提取及向量表示:在构建堆叠Bi‑LSTM网络的模型中配置co‑attention机制与attention机制;S3:同时考虑问答对空间向量的位置与方向,调和余弦相似度与欧几里德距离来计算问答对向量间的匹配度;S4:基于Unity3D平台搭建虚拟学习环境并引入网络模型,实现特定域虚拟课堂的智能问答。本发明将深度网络模型与多类注意力机制结合,实现了问答对更深层次的交互理解与表示,同时特定域虚拟课堂的引入拓宽了智能问答的应用范围。

    基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

    公开(公告)号:CN110175596A

    公开(公告)日:2019-08-27

    申请号:CN201910481703.3

    申请日:2019-06-04

    Abstract: 本发明涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法,包括以下步骤:S1:微表情数据的预处理:对微表情视频进行欧拉视频放大并抽取图像序列,对图像序列进行人脸定位并裁剪,得到微表情的RGB数据;将欧拉视频放大后的数据提取光流信息,得到微表情的光流图像;S2:将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络,以学习到微表情的空间与时域信息;S3:将双流卷积神经网络的输出进行最大值融合,以增强识别准确率,得到最终的微表情识别模型;S4:使用微表情识别模型创建虚拟学习环境交互系统,并通过Kinect获取用户面部图像序列进行微表情识别任务。

    一种基于碰撞预警算法的辅助驾驶系统

    公开(公告)号:CN110276988A

    公开(公告)日:2019-09-24

    申请号:CN201910561949.1

    申请日:2019-06-26

    Abstract: 本发明涉及一种基于碰撞预警算法的辅助驾驶系统,属于计算机视觉和智能辅助驾驶技术领域。该系统包括:检测与测距模块,通过摄像头采集汽车行驶过程中的路况信息,使用YOLOv3模型对障碍物进行检测、识别和距离测量;碰撞预警模块,进行碰撞预测分类,并计算出发生碰撞需要的时间及时给出预警判断并对驾驶员进行预警播报;定位模块:利用GPS/IMU组合导航对车辆的行驶位置信息进行采集,当GPS信号缺失时系统自动转换为IMU进行定位,当GPS信号正常时重新转为GPS定位;GUI显示与云端视频备份模块,对识别视频流、行驶状态及地图软件标注信息进行实时显示并进行云端备份。本发明能够提高辅助驾驶系统的预测精度及实时性。

    一种基于堆叠Bi-LSTM网络和协同注意力的虚拟学习环境智能问答方法

    公开(公告)号:CN109766427A

    公开(公告)日:2019-05-17

    申请号:CN201910036927.3

    申请日:2019-01-15

    Abstract: 本发明涉及一种基于堆叠Bi-LSTM网络和协同注意力的虚拟学习环境智能问答方法,属于自然语言处理和虚拟现实技术领域。该方法包括:S1:构建知识库及数据预处理;S2:特征提取及向量表示:在构建堆叠Bi-LSTM网络的模型中配置co-attention机制与attention机制;S3:同时考虑问答对空间向量的位置与方向,调和余弦相似度与欧几里德距离来计算问答对向量间的匹配度;S4:基于Unity3D平台搭建虚拟学习环境并引入网络模型,实现特定域虚拟课堂的智能问答。本发明将深度网络模型与多类注意力机制结合,实现了问答对更深层次的交互理解与表示,同时特定域虚拟课堂的引入拓宽了智能问答的应用范围。

Patent Agency Ranking