基于主动跟踪和自适应手势识别的交接方法、装置及设备

    公开(公告)号:CN117576787B

    公开(公告)日:2024-04-16

    申请号:CN202410060569.0

    申请日:2024-01-16

    Abstract: 本申请公开了一种基于主动跟踪和自适应手势识别的交接方法、装置及设备,方法包括通过机器人安装的深度相机采集视频图像;基于视频图像通过媒体管道获取相机坐标系下的第一手部地标;将第一手部地标转换至预设的世界坐标系以得到第二手部地标;将第二手部地标输入经过训练的手势识别模型,通过手势识别模型确定所述视频图像对应的用户手势;通过机器人将交互对象交互给用户。本申请实施例通过使用包括媒体管道提示手部地标和通过手势识别模型识别用户手势的两阶段方法,在面对不同物体和不同照明条件时均能准确识别到用户手势,提高了人机交互的准确性,确保了与人类抓握一致的平稳和自然的交接过程。

    一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统

    公开(公告)号:CN109614874B

    公开(公告)日:2023-06-30

    申请号:CN201811366233.8

    申请日:2018-11-16

    Inventor: 丁润伟 刘畅

    Abstract: 本发明公开一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统。该方法包括:1)输入训练集中所有行为样本的骨架点信息;2)通过添零补帧使各样本帧数一致;3)使用三向树状遍历法则对无序的骨架点进行重构;4)对重构后得到的特征图的拉普拉斯矩阵进行归一化处理;5)构建注意力感知网络和主体网络;6)将注意力感知网络和主体网络分层级连接;7)将重构的特征图分别输入主体网络和注意力感知网络,训练行为识别网络模型;8)利用训练好的行为识别网络模型进行行为识别。本发明能够显著提高行为识别的精度和效率。

    基于级联的重构-判别结构的表面异常检测方法及装置

    公开(公告)号:CN116051475A

    公开(公告)日:2023-05-02

    申请号:CN202211650974.5

    申请日:2022-12-21

    Inventor: 杨戈 张健 丁润伟

    Abstract: 本公开涉及一种基于级联的重构‑判别结构的表面异常检测方法及装置。所述方法包括:对待检测图像进行重构,得到第一重构图像;对所述第一重构图像进行重构,得到第二重构图像;将所述待检测图像与所述第一重构图像、所述第二重构图像分别从通道维拼接,得到第一异常分数图和第二异常分数图;通过对所述第一异常分数图和所述第二异常分数图逐像素平均处理,得到所述待检测图像的表明异常检测结果。本发明提升了表面异常检测的性能。

    一种基于颜色和深度信息的多模态融合手势识别方法

    公开(公告)号:CN107025442B

    公开(公告)日:2020-05-01

    申请号:CN201710208523.9

    申请日:2017-03-31

    Inventor: 萧伟 刘宏 丁润伟

    Abstract: 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法,其步骤包括:1)使用彩色摄像机和深度摄像机同时对手势进行拍摄,得到手势的颜色和深度的原始数据;2)使用高斯平滑方法对颜色和深度的原始数据进行滤波,得到颜色和深度的平滑数据;3)将肤色和深度作为先验知识,对颜色和深度的平滑数据分别进行分割,得到肤色分割区域和深度分割区域;4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合,构成融合分割图;5)利用特征描述子对融合分割图提取特征,构成特征图;6)对特征图进行编码,构成手势编码;7)对手势编码进行识别,从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。

    一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统

    公开(公告)号:CN109614874A

    公开(公告)日:2019-04-12

    申请号:CN201811366233.8

    申请日:2018-11-16

    Inventor: 丁润伟 刘畅

    Abstract: 本发明公开一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统。该方法包括:1)输入训练集中所有行为样本的骨架点信息;2)通过添零补帧使各样本帧数一致;3)使用三向树状遍历法则对无序的骨架点进行重构;4)对重构后得到的特征图的拉普拉斯矩阵进行归一化处理;5)构建注意力感知网络和主体网络;6)将注意力感知网络和主体网络分层级连接;7)将重构的特征图分别输入主体网络和注意力感知网络,训练行为识别网络模型;8)利用训练好的行为识别网络模型进行行为识别。本发明能够显著提高行为识别的精度和效率。

    一种基于颜色和深度信息的多模态融合手势识别方法

    公开(公告)号:CN107025442A

    公开(公告)日:2017-08-08

    申请号:CN201710208523.9

    申请日:2017-03-31

    Inventor: 萧伟 刘宏 丁润伟

    Abstract: 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法,其步骤包括:1)使用彩色摄像机和深度摄像机同时对手势进行拍摄,得到手势的颜色和深度的原始数据;2)使用高斯平滑方法对颜色和深度的原始数据进行滤波,得到颜色和深度的平滑数据;3)将肤色和深度作为先验知识,对颜色和深度的平滑数据分别进行分割,得到肤色分割区域和深度分割区域;4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合,构成融合分割图;5)利用特征描述子对融合分割图提取特征,构成特征图;6)对特征图进行编码,构成手势编码;7)对手势编码进行识别,从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。

    基于智能手机平台的打鼾监测和防治方法及系统

    公开(公告)号:CN103251388A

    公开(公告)日:2013-08-21

    申请号:CN201310148053.3

    申请日:2013-04-25

    Abstract: 本发明涉及基于智能手机平台的打鼾监测和防治方法及系统,包括鼾声信号的分析模块、即时干预模块和信息反馈模块。监测和防治方法为:1)建立重度鼾声信号和轻度鼾声信号库,对鼾声信号分别进行预处理提取特征向量,训练重和轻度GMM模板;2)在手机客户端实时录入用户的鼾声信号进行处理,在特定时间窗内对处理完后的鼾声信号进行实时四维特征向量序列提取;3)将实时四维特征向量序列分别与轻度和重度两类鼾声GMM模板进行匹配,似然度最大的类作为识别结果;4)若打鼾程度判定为严重,计算当前时间窗内的最大鼾声间隔时间;5)若最大鼾声间隔超过10S,采用外界刺激制止用户打鼾。本发明能够即时进行外界干预,有效制止用户打鼾。

    一种基于点集表示的精确缺陷检测方法和系统

    公开(公告)号:CN114998281B

    公开(公告)日:2025-04-15

    申请号:CN202210686189.9

    申请日:2022-06-16

    Abstract: 本发明涉及一种基于点集表示的精确缺陷检测方法和系统。该方包括对检测目标采用点集进行表示;对于采用点集表示的检测目标,采用全局上下文特征金字塔网络来增强提取对比度明显的多尺度缺陷特征,采用感受野金字塔模块来获取和融合不同尺度大小的缺陷特征,采用自适应正负样本分配检测头来筛选用于学习训练的缺陷正样本;依据筛选得到的缺陷正样本以及提取的缺陷特征,生成准确的缺陷类别以及精确的缺陷位置,实现检测功能。在此基础上,采用深度可分离卷积来代替普通卷积对网络进行轻量优化,以提升检测速度。本发明解决了低对比度问题带来的检测模糊性问题,解决了缺陷尺寸变化大带来的单一性问题,并且避免了不平衡正负样本带来的训练问题。

    一种基于外观与形态解耦的长时期跨摄像头目标关联方法及系统

    公开(公告)号:CN114092873B

    公开(公告)日:2024-11-05

    申请号:CN202111271643.6

    申请日:2021-10-29

    Inventor: 刘宏 石伟 丁润伟

    Abstract: 本发明涉及一种基于外观与形态解耦的长时期跨摄像头目标关联方法及系统。该方法对输入的训练图像通过人体稠密解析估计和边缘估计提取人体轮廓图像,求取训练图像与人体轮廓图像的残差,得到人体外观图像;利用形态表征模型对人体轮廓图像进行高级语义特征提取,利用外观表征模型对人体外观图像进行高级语义特征提取;利用三元组损失函数和识别损失函数训练外观表征模型和形态表征模型,采用学习的两个表征模型对待查询行人图像和候选行人图像提取形态特征和外观特征,通过计算相似性得分得到跨摄像头场景中的关联目标。本发明不需要采用复杂的对抗学习模型就能提取行人的形态信息,并可避免挖掘涉及隐私的人脸信息及不可靠的行人步态信息。

    基于视觉语言模型的三维人体行为识别网络训练方法

    公开(公告)号:CN117576786B

    公开(公告)日:2024-04-16

    申请号:CN202410059351.3

    申请日:2024-01-16

    Abstract: 本申请公开了一种基于视觉语言模型的三维人体行为识别网络训练方法,方法包括将点云视频输入四维点云编码器确定点云特征嵌入;将RGB视频和文本数据输入视觉语言模型确定视频特征嵌入和文本特征嵌入;基于点云特征嵌入、文本特征嵌入及视频特征嵌入确定对齐损失项,基于点云特征嵌入确定第一分类损失项,基于视频特征嵌入确定第二分类损失项;基于对齐损失项、第一分类损失项和第二分类损失项对初始三维人体行为识别网络进行训练,以得到三维人体行为识别网络。本申请通过将点云特征嵌入分别与视频特征嵌入和文本特征嵌入对齐,来从大规模图像-文本对的训练中学习共享的视觉和文本空间,提高了三维人体行为识别网络的模型性能。

Patent Agency Ranking