协同双通道时频掩码估计任务学习的双耳声源定位方法及系统

    公开(公告)号:CN112731291B

    公开(公告)日:2024-02-20

    申请号:CN202011096916.3

    申请日:2020-10-14

    Abstract: 本发明公开了一种协同双通道时频掩码估计任务学习的双耳声源定位方法及系统。该方法为:1)使用双耳信号的短时傅里叶变换系数作为输入特征;2)使用对数维纳滤波作为目标时频掩码,同时估计双通道对数频谱特征的时频掩码;3)将估计得到的时频掩码与对数频谱特征相乘,得到增强后的对数频谱特征;4)利用增强后的对数频谱特征及相位谱特征作为输入,估计声源的方位角;5)利用两阶段训练模式,在初步训练好的双通道时频掩码估计网络和声源定位网络之间建立端到端的联系,微调所有网络参数。本发明能够利用卷积神经网络同时估计双通道时频掩码,提升定位特征的鲁棒性,并且利用时频掩码增强后的定位特征实现有效的端到端的声源定位。

    一种基于加权模板匹配的双耳声源定位方法和装置

    公开(公告)号:CN112731289A

    公开(公告)日:2021-04-30

    申请号:CN202011456914.0

    申请日:2020-12-10

    Abstract: 本发明公开了一种基于加权模板匹配的双耳声源定位方法和装置。在训练阶段,首先从训练数据中提取不同方向的双耳互相关函数和双耳强度差,为提取的各个方向的双耳互相关函数和双耳强度差建立模板;然后通过梯度下降法训练不同方向、不同频带的权重值。在线定位阶段,同样首先对信号提取特征,接着在不同特征和不同频带上将所提取的特征与各个方向的模板进行相似度匹配,最后通过加权融合不同特征不同频带的相似度,得到最终的声源方向相似度,取最大相似度方向为声源方向。实验在不同种类噪声环境下进行,实验结果表明本发明可以在一定程度上抵抗噪声的干扰,实现声源的角度定位问题。

    一种基于加权模板匹配的双耳声源定位方法和装置

    公开(公告)号:CN112731289B

    公开(公告)日:2024-05-07

    申请号:CN202011456914.0

    申请日:2020-12-10

    Abstract: 本发明公开了一种基于加权模板匹配的双耳声源定位方法和装置。在训练阶段,首先从训练数据中提取不同方向的双耳互相关函数和双耳强度差,为提取的各个方向的双耳互相关函数和双耳强度差建立模板;然后通过梯度下降法训练不同方向、不同频带的权重值。在线定位阶段,同样首先对信号提取特征,接着在不同特征和不同频带上将所提取的特征与各个方向的模板进行相似度匹配,最后通过加权融合不同特征不同频带的相似度,得到最终的声源方向相似度,取最大相似度方向为声源方向。实验在不同种类噪声环境下进行,实验结果表明本发明可以在一定程度上抵抗噪声的干扰,实现声源的角度定位问题。

    协同双通道时频掩码估计任务学习的双耳声源定位方法及系统

    公开(公告)号:CN112731291A

    公开(公告)日:2021-04-30

    申请号:CN202011096916.3

    申请日:2020-10-14

    Abstract: 本发明公开了一种协同双通道时频掩码估计任务学习的双耳声源定位方法及系统。该方法为:1)使用双耳信号的短时傅里叶变换系数作为输入特征;2)使用对数维纳滤波作为目标时频掩码,同时估计双通道对数频谱特征的时频掩码;3)将估计得到的时频掩码与对数频谱特征相乘,得到增强后的对数频谱特征;4)利用增强后的对数频谱特征及相位谱特征作为输入,估计声源的方位角;5)利用两阶段训练模式,在初步训练好的双通道时频掩码估计网络和声源定位网络之间建立端到端的联系,微调所有网络参数。本发明能够利用卷积神经网络同时估计双通道时频掩码,提升定位特征的鲁棒性,并且利用时频掩码增强后的定位特征实现有效的端到端的声源定位。

    基于主动跟踪和自适应手势识别的交接方法、装置及设备

    公开(公告)号:CN117576787B

    公开(公告)日:2024-04-16

    申请号:CN202410060569.0

    申请日:2024-01-16

    Abstract: 本申请公开了一种基于主动跟踪和自适应手势识别的交接方法、装置及设备,方法包括通过机器人安装的深度相机采集视频图像;基于视频图像通过媒体管道获取相机坐标系下的第一手部地标;将第一手部地标转换至预设的世界坐标系以得到第二手部地标;将第二手部地标输入经过训练的手势识别模型,通过手势识别模型确定所述视频图像对应的用户手势;通过机器人将交互对象交互给用户。本申请实施例通过使用包括媒体管道提示手部地标和通过手势识别模型识别用户手势的两阶段方法,在面对不同物体和不同照明条件时均能准确识别到用户手势,提高了人机交互的准确性,确保了与人类抓握一致的平稳和自然的交接过程。

    一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统

    公开(公告)号:CN109614874B

    公开(公告)日:2023-06-30

    申请号:CN201811366233.8

    申请日:2018-11-16

    Inventor: 丁润伟 刘畅

    Abstract: 本发明公开一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统。该方法包括:1)输入训练集中所有行为样本的骨架点信息;2)通过添零补帧使各样本帧数一致;3)使用三向树状遍历法则对无序的骨架点进行重构;4)对重构后得到的特征图的拉普拉斯矩阵进行归一化处理;5)构建注意力感知网络和主体网络;6)将注意力感知网络和主体网络分层级连接;7)将重构的特征图分别输入主体网络和注意力感知网络,训练行为识别网络模型;8)利用训练好的行为识别网络模型进行行为识别。本发明能够显著提高行为识别的精度和效率。

    基于级联的重构-判别结构的表面异常检测方法及装置

    公开(公告)号:CN116051475A

    公开(公告)日:2023-05-02

    申请号:CN202211650974.5

    申请日:2022-12-21

    Inventor: 杨戈 张健 丁润伟

    Abstract: 本公开涉及一种基于级联的重构‑判别结构的表面异常检测方法及装置。所述方法包括:对待检测图像进行重构,得到第一重构图像;对所述第一重构图像进行重构,得到第二重构图像;将所述待检测图像与所述第一重构图像、所述第二重构图像分别从通道维拼接,得到第一异常分数图和第二异常分数图;通过对所述第一异常分数图和所述第二异常分数图逐像素平均处理,得到所述待检测图像的表明异常检测结果。本发明提升了表面异常检测的性能。

    一种基于颜色和深度信息的多模态融合手势识别方法

    公开(公告)号:CN107025442B

    公开(公告)日:2020-05-01

    申请号:CN201710208523.9

    申请日:2017-03-31

    Inventor: 萧伟 刘宏 丁润伟

    Abstract: 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法,其步骤包括:1)使用彩色摄像机和深度摄像机同时对手势进行拍摄,得到手势的颜色和深度的原始数据;2)使用高斯平滑方法对颜色和深度的原始数据进行滤波,得到颜色和深度的平滑数据;3)将肤色和深度作为先验知识,对颜色和深度的平滑数据分别进行分割,得到肤色分割区域和深度分割区域;4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合,构成融合分割图;5)利用特征描述子对融合分割图提取特征,构成特征图;6)对特征图进行编码,构成手势编码;7)对手势编码进行识别,从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。

    一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统

    公开(公告)号:CN109614874A

    公开(公告)日:2019-04-12

    申请号:CN201811366233.8

    申请日:2018-11-16

    Inventor: 丁润伟 刘畅

    Abstract: 本发明公开一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统。该方法包括:1)输入训练集中所有行为样本的骨架点信息;2)通过添零补帧使各样本帧数一致;3)使用三向树状遍历法则对无序的骨架点进行重构;4)对重构后得到的特征图的拉普拉斯矩阵进行归一化处理;5)构建注意力感知网络和主体网络;6)将注意力感知网络和主体网络分层级连接;7)将重构的特征图分别输入主体网络和注意力感知网络,训练行为识别网络模型;8)利用训练好的行为识别网络模型进行行为识别。本发明能够显著提高行为识别的精度和效率。

    一种基于颜色和深度信息的多模态融合手势识别方法

    公开(公告)号:CN107025442A

    公开(公告)日:2017-08-08

    申请号:CN201710208523.9

    申请日:2017-03-31

    Inventor: 萧伟 刘宏 丁润伟

    Abstract: 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法,其步骤包括:1)使用彩色摄像机和深度摄像机同时对手势进行拍摄,得到手势的颜色和深度的原始数据;2)使用高斯平滑方法对颜色和深度的原始数据进行滤波,得到颜色和深度的平滑数据;3)将肤色和深度作为先验知识,对颜色和深度的平滑数据分别进行分割,得到肤色分割区域和深度分割区域;4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合,构成融合分割图;5)利用特征描述子对融合分割图提取特征,构成特征图;6)对特征图进行编码,构成手势编码;7)对手势编码进行识别,从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。

Patent Agency Ranking