-
公开(公告)号:CN108986168B
公开(公告)日:2022-08-23
申请号:CN201810609050.8
申请日:2018-06-13
Applicant: 深圳市感动智能科技有限公司 , 北京大学深圳研究生院
Abstract: 本发明公开一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置。该方法为:1)输入长时间的环境外观变化的场景视频流;2)采用深度度量学习框架训练并学习得到特征提取网络;3)利用特征提取网络从训练视频流图像中抽取特征;4)对得到的特征进行迭代聚类,建立词袋树模型;5)在实际机器人定位和导航过程中,输入机器人实时获取的视频流中的当前关键帧;6)利用特征提取网络提取当前关键帧的特征;7)将当前关键帧的特征添加到词袋树模型;8)利用词袋树模型搜索和匹配图像特征相近的图像帧,并进行相似性度量,判断机器人是否遇到回环。本发明能够实现机器人在动态环境中长时间定位和导航过程中的高效的回环检测。
-
公开(公告)号:CN114758358A
公开(公告)日:2022-07-15
申请号:CN202210410119.0
申请日:2022-04-19
Applicant: 北京大学深圳研究生院
IPC: G06V40/10 , G06V10/54 , G06V10/56 , G06V10/74 , G06V10/774 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于颜色与纹理抑制的长时期跨摄像头目标关联方法及系统。该方法包括:输入长时期跨摄像头目标关联数据集中的训练图像;对训练图像进行纹理抑制;对经过纹理抑制的图像进行颜色抑制;利用身份表征模型对抑制颜色和纹理后的图像进行身份特征提取;对提取的身份特征进行监督学习,实现对身份表征模型的参数优化;采用学习的身份表征模型对待查询行人图像和候选行人图像提取身份特征,计算特征间的距离作为相似性得分,选取相似性得分最高的候选行人为跨摄像头场景中的关联目标。本发明可以解决在长时期跨摄像头场景下较难匹配目标行人的问题,可被引入智能监控系统、目标跟踪系统、目标关联系统中,实现更加完备的智能监控技术。
-
公开(公告)号:CN109147763B
公开(公告)日:2020-08-11
申请号:CN201810752379.X
申请日:2018-07-10
Applicant: 深圳市感动智能科技有限公司 , 北京大学深圳研究生院
Abstract: 本发明公开一种基于神经网络和逆熵加权的音视频关键词识别方法和装置。首先,视频中说话人的唇部区域被直接提取为视觉特征,降低了人工设计视觉特征提取噪声的误差,其次,二维和三维卷积神经网络被分别用于对关键词和非关键词的语音和视觉特征进行建模并生成声学模板和视觉模板,可有效地对声学特征的时频特性和视觉特征的时空特性进行建模;再次,根据声学模板和视觉模板,可对待检测的音视频计算得到关键词和非关键词的声学和视觉似然度;最后,对声学和视觉似然度计算对应的熵值来生成声学模态和视觉模态的可靠度权重,以实现音视频的决策层加权融合估计。本发明能够充分利用声学噪声条件下视觉信息的贡献,提高了关键词识别的性能。
-
公开(公告)号:CN106846367B
公开(公告)日:2019-10-01
申请号:CN201710081019.7
申请日:2017-02-15
Applicant: 北京大学深圳研究生院 , 深圳市银星智能科技股份有限公司
IPC: G06T7/246
Abstract: 本发明公开了一种基于运动约束光流法的复杂动态场景的运动物体检测方法。本方法为:1)视频输入;2)提取ORB特征;3)将提取特征与运动物体特征库中的特征进行相似度比较;4)获取当前机器人的运动矢量;5)计算局部光流;6)筛选并建立运动物体特征点库,进而可建立环境点云图。本发明通过机器人的运动方向提高光流法对特征点梯度变化的检测速度;将运动物体的特征以一定的时效性保存在库中,并对时效值及时更新,避免对该特征点的重复计算;本发明比较当前提取的特征和运动物体特征库中的特征的欧式距离,从而减少光流跟踪特征的计算;本发明能减少运动物体对环境的影响,增加机器人对环境建模的可靠性。
-
公开(公告)号:CN105869651B
公开(公告)日:2019-05-31
申请号:CN201610167885.3
申请日:2016-03-23
Applicant: 北京大学深圳研究生院
IPC: G10L21/0216 , G10L21/0208
Abstract: 本发明公开了一种基于噪声混合相干性的双通道波束形成语音增强方法。自适应波束形成在无混响条件下可以有效地抑制方向性噪声信号,但在混响存在的条件下其效果大大降低。针对这个问题,本发明提出了一种基于噪声混合相干性的双通道波束形成方法。考虑到声场中同时存在相干性和散射性噪声,本发明提出用混合噪声声场来代替传统的散射性声场的假设,首先估计出混合噪声声场中的噪声相干性,用其来估计噪声的功率谱,并将噪声功率谱估计结果用于计算频域滤波的增益函数。噪声与混响信号经过频域滤波处理后,残留的噪声再通过最小方差无失真响应波束形成器进一步处理。实验证明利用本发明的方法增强后的语音质量相比于传统的方法有较明显的提高。
-
公开(公告)号:CN109165540A
公开(公告)日:2019-01-08
申请号:CN201810608363.1
申请日:2018-06-13
Applicant: 深圳市感动智能科技有限公司 , 北京大学深圳研究生院
Abstract: 本发明公开一种基于先验候选框选择策略的行人搜索方法和装置。该方法包括:根据训练集中所有行人边界框的长和宽构建行人候选框特征向量,包含长宽比和长度两个元素;通过k-means++算法选出初始化聚类中心;利用k-means算法进行迭代聚类,得到聚类后的先验候选框;将训练集中的行人图像输入预先定义的行人搜索网络,利用先验候选框生成候选行人并识别出行人的身份,通过训练得到训练好的行人搜索网络;将行人探针和监控场景图像分别通过训练好的行人搜索网络,得到行人探针特征以及监控图像中候选行人的特征,通过计算该两种特征的相似性获得行人探针所在的监控图像及其具体位置。本发明能够有效提高行人搜索的精度和速度。
-
公开(公告)号:CN108986168A
公开(公告)日:2018-12-11
申请号:CN201810609050.8
申请日:2018-06-13
Applicant: 深圳市感动智能科技有限公司 , 北京大学深圳研究生院
Abstract: 本发明公开一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置。该方法为:1)输入长时间的环境外观变化的场景视频流;2)采用深度度量学习框架训练并学习得到特征提取网络;3)利用特征提取网络从训练视频流图像中抽取特征;4)对得到的特征进行迭代聚类,建立词袋树模型;5)在实际机器人定位和导航过程中,输入机器人实时获取的视频流中的当前关键帧;6)利用特征提取网络提取当前关键帧的特征;7)将当前关键帧的特征添加到词袋树模型;8)利用词袋树模型搜索和匹配图像特征相近的图像帧,并进行相似性度量,判断机器人是否遇到回环。本发明能够实现机器人在动态环境中长时间定位和导航过程中的高效的回环检测。
-
公开(公告)号:CN106840166A
公开(公告)日:2017-06-13
申请号:CN201710081020.X
申请日:2017-02-15
Applicant: 北京大学深圳研究生院 , 深圳市银星智能科技股份有限公司
IPC: G01C21/20
Abstract: 本发明公开一种基于词袋树群模型的机器人定位和导航方法。该方法为:1)输入长时间的包含低动态室内场景变化的视频流;2)从视频流图像中离线抽取特征;3)对得到的特征通过k‑means++算法进行聚类;4)对聚类得到的子空间进行迭代聚类;5)对迭代聚类后的特征建立词袋树模型;6)建立词袋树群模型;7)通过统计原理对低动态物体的运动规律进行统计;8)根据词袋树群模型,利用所述运动规律分析确定当前时刻对应的词袋树模型;9)将确定的词袋树模型用于回环检测,实现机器人在低动态环境下的定位和导航。本发明能够在避免使用昂贵的激光传感器情况下,低成本地实现机器人在室内等低动态环境下长时间自主定位和导航。
-
公开(公告)号:CN104021554B
公开(公告)日:2017-03-01
申请号:CN201410252716.0
申请日:2014-06-09
Applicant: 北京大学深圳研究生院
Abstract: 本发明公开了一种基于部分传感器信息的相机-惯性传感器标定方法,首先建立基于部分惯性传感器信息的标定方程,然后通过先恢复惯性传感器缺失的信息,再求解相机-惯性传感器之间的相对坐标变换,对上述基于部分惯性传感器信息的标定方程进行求解,并对标定结果进行了优化。解决了在惯性传感器输出信息不完全条件下相机-惯性传感器标定问题,并且在实际标定环境中,在有观测误差的情形下,设计的优化算法可以最优化最终标定结果,获得一个很好的标定精度。
-
公开(公告)号:CN103854016B
公开(公告)日:2017-03-01
申请号:CN201410119629.8
申请日:2014-03-27
Applicant: 北京大学深圳研究生院
Abstract: 本发明涉及一种基于方向性共同发生特征的人体行为分类识别方法及系统。该方法包括:在视频序列中检测人体目标并提取时空兴趣点;提取HOG和HOF特征,对时空兴趣点聚类;统计具有不同类别标签的时空兴趣点对出现在相同帧时的方向信息;统计方向性时空点对特征直方图,得到针对输入视频的特征描述;将该词袋模型中的直方图特征换成方向性时空点对特征直方图,针对不同类别行为进行训练,得到对应的特征描述;提取得到输入的测试视频的特征描述,与不同类别行为的特征描述模板进行最近邻匹配,匹配度最高的即为该视频对应的行为类别。本发明通过描述局部特征点对之间的方向信息有效提升了人体行为分类和识别的准确率和鲁棒性。
-
-
-
-
-
-
-
-
-