-
公开(公告)号:CN107025442B
公开(公告)日:2020-05-01
申请号:CN201710208523.9
申请日:2017-03-31
Applicant: 北京大学深圳研究生院
Abstract: 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法,其步骤包括:1)使用彩色摄像机和深度摄像机同时对手势进行拍摄,得到手势的颜色和深度的原始数据;2)使用高斯平滑方法对颜色和深度的原始数据进行滤波,得到颜色和深度的平滑数据;3)将肤色和深度作为先验知识,对颜色和深度的平滑数据分别进行分割,得到肤色分割区域和深度分割区域;4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合,构成融合分割图;5)利用特征描述子对融合分割图提取特征,构成特征图;6)对特征图进行编码,构成手势编码;7)对手势编码进行识别,从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。
-
公开(公告)号:CN106885574B
公开(公告)日:2020-02-07
申请号:CN201710081158.X
申请日:2017-02-15
Applicant: 北京大学深圳研究生院 , 深圳市银星智能科技股份有限公司
Abstract: 本发明公开了一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法。本方法为:1)对每张图片提取ORB特征;2)利用相邻图片的特征匹配跟踪相机姿态;3)对跟踪丢失的图片执行重定位与重跟踪策略;4)若重定位成功执行,则估计当前相机的姿态,且停止执行重跟踪策略并删除其产生的临时变量;5)若重跟踪策略成功执行,则产生一条新的轨迹;6)对产生的轨迹数量进行判定,若数量超过阈值,则将最初始的轨迹剔除;7)对每个关键帧进行闭环检测,检测成功后进行轨迹融合;8)定位系统结束时,对所述轨迹进行筛选,得到一条姿态正确的轨迹。本发明的优势在于能在快速移动、遮挡、纹理不足、光照变化的条件下,定位完整的相机轨迹。
-
公开(公告)号:CN107025442A
公开(公告)日:2017-08-08
申请号:CN201710208523.9
申请日:2017-03-31
Applicant: 北京大学深圳研究生院
Abstract: 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法,其步骤包括:1)使用彩色摄像机和深度摄像机同时对手势进行拍摄,得到手势的颜色和深度的原始数据;2)使用高斯平滑方法对颜色和深度的原始数据进行滤波,得到颜色和深度的平滑数据;3)将肤色和深度作为先验知识,对颜色和深度的平滑数据分别进行分割,得到肤色分割区域和深度分割区域;4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合,构成融合分割图;5)利用特征描述子对融合分割图提取特征,构成特征图;6)对特征图进行编码,构成手势编码;7)对手势编码进行识别,从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。
-
公开(公告)号:CN103886304B
公开(公告)日:2017-03-29
申请号:CN201410133803.4
申请日:2014-04-03
Applicant: 北京大学深圳研究生院
Abstract: 本发明提供一种真假笑识别方法,考虑脸部的不同区域对识别真假笑做出不同的贡献,提出了一种柔性面部子区域分割方法。考虑笑容过程中不同状态对真假笑做出的不同贡献,提出了一种笑容时间域分割方法。考虑真笑和假笑的局部特征信息并真笑假笑各自的共同特点,提出了一种具有判别信息的局部时空描述子。运用基于外观的特征提取方法,克服了基于几何特征的真假笑识别方法过度依赖于面部几何特征的弱点,充分挖掘真笑和假笑各自提取的局部特征的共性,使得两类笑容的类间差距增大,类内差距缩小,从而提高识别的精确度。
-
公开(公告)号:CN103280220B
公开(公告)日:2015-11-18
申请号:CN201310148422.9
申请日:2013-04-25
Applicant: 北京大学深圳研究生院
Abstract: 本发明涉及一种实时的婴儿啼哭声识别方法,其步骤包括:1)录制婴儿啼哭声信号并建立声音库,进行预处理;2)当啼哭声开始时,采集得到婴儿啼哭声后采样得到实时数字信号,并在固定时间窗内对实时数字信号中的完整语音段依次进行分帧、加窗处理后提取得到实时特征向量序列;3)将实时特征向量序列与该GMM模板进行匹配,得到似然度最大的类,将最大的类作为识别结果,并对当前识别结果进行投票;4)当啼哭声结束后,根据投票结果判断婴儿啼哭声类别,完成识别,进行婴儿状况处理。本发明能够实时快速地判别婴儿啼哭声属于饥饿型、困倦型、尿湿型和疼痛型中的哪种类型,辅助护理人员及时反应、识别性能高。
-
公开(公告)号:CN104021554A
公开(公告)日:2014-09-03
申请号:CN201410252716.0
申请日:2014-06-09
Applicant: 北京大学深圳研究生院
IPC: G06T7/00
Abstract: 本发明公开了一种基于部分传感器信息的相机-惯性传感器标定方法,首先建立基于部分惯性传感器信息的标定方程,然后通过先恢复惯性传感器缺失的信息,再求解相机-惯性传感器之间的相对坐标变换,对上述基于部分惯性传感器信息的标定方程进行求解,并对标定结果进行了优化。解决了在惯性传感器输出信息不完全条件下相机-惯性传感器标定问题,并且在实际标定环境中,在有观测误差的情形下,设计的优化算法可以最优化最终标定结果,获得一个很好的标定精度。
-
公开(公告)号:CN103943107A
公开(公告)日:2014-07-23
申请号:CN201410133414.1
申请日:2014-04-03
Applicant: 北京大学深圳研究生院
Abstract: 本发明涉及一种基于决策层融合的音视频关键词识别方法,其主要包括以下步骤:1)录制关键词音视频,得到关键词和非关键词的语音声学特征向量序列和视觉特征向量序列,并据此训练关键词和非关键词的声学模板和视觉模板;2)根据不同声学噪声环境下的音视频,得到声学似然度和视觉似然度,并据此得到声学模态可靠度、视觉模态可靠度和最优权重,并据此训练人工神经网络;3)根据声学模板和视觉模板、人工神经网络,对待测音视频进行并行的基于声学和视觉双模态的二次关键词识别。本发明将声学作用和视觉作用在决策层进行融合,对待测音视频进行并行的基于双模态的二次关键词识别,充分利用声学噪声环境下视觉信息的贡献,提高识别性能。
-
公开(公告)号:CN103593679A
公开(公告)日:2014-02-19
申请号:CN201210292291.7
申请日:2012-08-16
Applicant: 北京大学深圳研究生院
Abstract: 本发明公开了一种基于在线机器学习的视觉人手跟踪方法,本发明属于智能人机交互领域。本方法为:1)在人手图像中圈定人手目标;2)对图像进行特征提取,训练霍夫森林检测器;同时在目标窗口中进行特征点检测来初始化子跟踪器中的特征点群;3)对于后续拍摄的每一帧图像,进行特征提取,然后利用霍夫森林检测器在局部搜索窗口中进行人手检测,确定当前帧的目标窗口;如果检测失败,则采用子跟踪器估计的上一帧处于目标上的特征点在当前帧的位置,得到成功跟踪的特征点,如果成功跟踪的特征点数相对于特征点群总特征点数比例大于设定阈值,则认为跟踪有效,反之子跟踪器跟踪无效。本方法实现跟踪器和检测器的互补,来获得更加鲁棒的跟踪结果。
-
公开(公告)号:CN103456012A
公开(公告)日:2013-12-18
申请号:CN201310395199.8
申请日:2013-09-03
Applicant: 北京大学深圳研究生院
Abstract: 本发明涉及一种基于最大稳定曲率区域的视觉人手检测跟踪方法及系统,在由人手检测单元和空间条件约束单元以及输入/输出端组成的系统中,其跟踪方法如下:1)采用摄像头提取得到RGB图和/或深度图,通过待跟踪物体的初始位置,得到前景物体和背景物体;2)根据肤色点的连通区域对RGB图进行肤色检测得到人手和/或人脸的候选肤色区域;3)根据深度图中的正向投影对深度图进行最大稳定曲率计算,得到最大稳定曲率区域;4)对所说候选肤色区域和最大稳定曲率区域按照空间约束条件进行结合,确定出人手和头部位置,得到人手的检测跟踪结果。本发明实现了鲁棒的基于视觉的人手跟踪,增强了对光照变化和快速运动的鲁棒性。
-
公开(公告)号:CN103426008A
公开(公告)日:2013-12-04
申请号:CN201310385425.4
申请日:2013-08-29
Applicant: 北京大学深圳研究生院
IPC: G06K9/66
Abstract: 本发明涉及一种基于在线机器学习的视觉人手跟踪方法及系统,系统包括:跟踪器、检测器和在线机器学习。跟踪方法为:本发明通过在线学习将基于分类器的检测和基于运动连续性的跟踪结合起来,以实现对现实应用场景鲁棒的人手跟踪。通过利用层级分类器(检测器)对搜索区域内的像素点进行分类,得到对目标的保守但稳定的估计;利用结合鸟群算法的光流法跟踪器对目标进行适应性较强但不太稳定的估计;利用在线学习机制将二者结合得到的跟踪结果,并且根据时间空间约束产生新的样本来在线更新层级的分类器,从而实现跟踪器和检测器的互补,来获得更加鲁棒的跟踪结果。本发明增强了对光照变化和快速运动的鲁棒性。
-
-
-
-
-
-
-
-
-