一种人体关键点检测的人形机器人辅助健身的方法

    公开(公告)号:CN116597519A

    公开(公告)日:2023-08-15

    申请号:CN202310609390.1

    申请日:2023-05-26

    Applicant: 常州大学

    Abstract: 本发明涉及机器人技术领域,尤其涉及一种人体关键点检测的人形机器人辅助健身的方法,包括采集人的实时运动视频;采用MobileNetv3网络为主干的YOLOV7模型,利用Ghost Conv模块改进YOLOV7网络模型的Conv模块得到改进的YOLOV7网络模型,并对运动视频进行目标检测,得到人体位置;利用Centriod Tracking算法对人体目标进行跟踪,并计算出人体的质心坐标;通过改进Openpose网络对人体进行实时检测,获得人体关键点的位置和编号;计算人体关键点之间的角度、距离和位移,判断动作是否标准。本发明解决现有方法无法兼顾关键点检测精确度、实时性和轻量化问题。

    一种基于深度学习的晶圆瑕疵检测方法

    公开(公告)号:CN115439428A

    公开(公告)日:2022-12-06

    申请号:CN202211028776.5

    申请日:2022-08-26

    Applicant: 常州大学

    Abstract: 本发明属于晶圆检测技术领域,提出了一种基于深度学习的晶圆瑕疵检测方法。基于现有YOLOv7目标检测算法改进获得教师网络和学生网络,二者组成双通道教师‑学生网络;输入图像经教师网络训练获得泛在瑕疵区域;训练过程中教师网络获得的泛在瑕疵信息经蒸馏知识迁移至学生网络;输入图像经学生网络训练获得泛在瑕疵区域内的细分瑕疵;最终测试阶段仅保留训练完成的学生网络,输入图像获得晶圆的正常与否以及晶圆的缺陷类别。本发明能够保证瑕疵细分的实时性,保证学习效果,改善细分瑕疵检测表现。

    一种基于树莓派的轻量化的人体姿态评估方法及控制方法

    公开(公告)号:CN115359556A

    公开(公告)日:2022-11-18

    申请号:CN202210967448.5

    申请日:2022-08-12

    Applicant: 常州大学

    Abstract: 本发明涉及人体姿态评估技术领域,尤其涉及一种基于树莓派的轻量化的人体姿态评估方法及控制方法,包括构建Lightweight Openpose网络,对人体姿态图像进行识别,并绘制出人体骨骼框架;根据人体骨骼框架,通过向量角度计算出各关节的角度;根据各关节的角度求出机器人舵机需要转动的位置信息,并采用PID控制舵机进行动作模仿。本发明通过轻量化的人体姿态评估算法,实现人体姿态的准确识别,解决了现有算法网络结构冗余,计算效率低的问题;另外,通过socket技术实现树莓派与机器人摄像头、总线舵机和PC机之间的交互,使图像处理与控制相互独立,解决树莓派单机处理能力不足的问题。

    一种采摘机器人果实视觉协同搜索方法

    公开(公告)号:CN108470165B

    公开(公告)日:2021-11-30

    申请号:CN201810240802.8

    申请日:2018-03-22

    Applicant: 常州大学

    Abstract: 本发明公开了一种采摘机器人果实视觉协同搜索方法,该方法采用大、小双视场视觉采集系统,其中大视场摄像机安置在机器人移动平台上,用来对果园果树进行全局成像,并对图像进行显著性区域提取,而后利用目标似然度来衡量果实似然目标,去除小区域后由此确定大视场图像中果实目标的大致区域,同时引导机器人靠近果树;小视场摄像机安置在机器人末端执行器所在机械臂上,建立大、小视场图像坐标系,视场图像坐标系与世界坐标系之间的映射关系;在从大视场当前图像中获得的果实目标搜索区域信息以及坐标系映射关系基础上,小视场摄像机区域成像,以此协同搜索果实。该方法类同人眼目标搜索,可避免机器人盲目无序搜索,为后续果实精确识别奠定基础。

    一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法

    公开(公告)号:CN112329683A

    公开(公告)日:2021-02-05

    申请号:CN202011276595.5

    申请日:2020-11-16

    Applicant: 常州大学

    Abstract: 本发明涉及一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法,首先通过Viola‑Jones人脸检测器和旋转校正从输入的灰度图像中检测出人脸区域,尽可能减少无关区域对人脸表情识别准确性的影响;其次将检测得到的人脸区域应用到深度图像和局部二值模式图像,得到三种具有互补性的人脸区域数据;然后采用单通道‑特征提取网络分别从三种类型的人脸区域数据中自动提取与表情相关的特征,并将提取得到的特征送入交互注意力融合模块中进行融合,该模块基于交互注意力机制提取任意两种人脸区域特征的空间相关性,从而实现了不同类型人脸区域的有效特征融合;最后将交互注意力融合模块输出的特征再次拼接融合后,通过全连接层进行特征变换,并通过softmax操作最后得到表情识别结果。

    一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法

    公开(公告)号:CN112329682A

    公开(公告)日:2021-02-05

    申请号:CN202011276593.6

    申请日:2020-11-16

    Applicant: 常州大学

    Abstract: 本发明涉及一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法,首先通过faster‑RCNN进行行人检测,进一步利用行人的运动信息搜索感兴趣目标,提取感兴趣目标的运动序列、周围交通场景序列以及轨迹位置;其次设计了一种三维卷积神经网络来处理感兴趣目标的运动序列,得到与行人穿越马路意图相关的行为特征;然后本发明根据行人所处的局部交通场景的要素以及车辆行驶速度得到两个权重,来修正人‑车距离,并将修正后的距离送到多层感知机进行编码,得到与行人穿越马路意图相关的距离特征;最后将行为特征和距离特征进行信息融合,利用全连接层将融合后的特征降维,并通过softmax操作得到行人是否穿越马路的结果。

    一种自然环境下果蔬生长形态视觉辨识方法

    公开(公告)号:CN110197129A

    公开(公告)日:2019-09-03

    申请号:CN201910382084.2

    申请日:2019-05-09

    Applicant: 常州大学

    Abstract: 本发明公开一种自然环境下果蔬生长形态视觉辨识方法,包括以下步骤:图像采集步骤:基于单目视觉实时采集果蔬图像;目标区域提取步骤:对采集的图像进行处理,提取出图像中连带遮挡枝叶的果蔬区域;其中,对采集的图像进行处理的方法为:采用掩膜基于区域的卷积神经网络对果蔬图像中的果蔬区域进行检测与语义分割;重叠形态辨识步骤:将果蔬分为单果形态果蔬和多果重叠形态果蔬;枝茎遮挡形态辨识步骤:将单果形态果蔬和多果重叠形态果蔬进一步细分为无枝茎遮挡单个果蔬、枝茎遮挡单个果蔬和无枝茎遮挡重叠果蔬、枝茎遮挡重叠果蔬。该方法可使得采摘机器人自动完成采集图像中不同生长形态果蔬的分类,为后续选用相应的采摘机制提供依据。

    一种非均一颜色果实区域的获取方法

    公开(公告)号:CN109584301A

    公开(公告)日:2019-04-05

    申请号:CN201811430186.9

    申请日:2018-11-28

    Applicant: 常州大学

    Abstract: 本发明公开一种非均一颜色果实区域的获取方法,包括图像采集:采集果园果实RGB图像;图像预处理:突出非均一颜色果实中的颜色显著区域;种块区域提取:提取图像果实中的颜色显著区域,作为后续区域生长的种块区域;计算区域框定:框定后续种块区域生长的计算区域;小类别区域划分:将各个除种块以外的计算区域划分为同色、多色和异色小区域;异色小区域细分:将异色小区域近一步细分为同色和多色小区域;种块区域生长:基于种块区域依据位置邻近和纹理相近原则生长合并同色区域,由此获得非均一颜色果实的整个区域。该发明对于像水蜜桃青里泛白、白里透红等非均一颜色类果实区域的获取提供一种有效方法,为其机器人采摘视觉识别奠定基础。

    一种果园图像中近大果实目标的获取方法

    公开(公告)号:CN109544572A

    公开(公告)日:2019-03-29

    申请号:CN201811373577.1

    申请日:2018-11-19

    Applicant: 常州大学

    Abstract: 本发明公开了一种果园图像中近大果实目标的获取方法,包括:1、RGB图像采集;2、色差图像获取:对RGB图像提取R-G色差图像;3、图像形态学运算:对R-G色差图像依次进行腐蚀、一次孔洞填充、小区域去除、膨胀、二次孔洞填充操作;4、果实区域获取:基于图像中物体边缘信息进行阈值分割获取果实区域;5、各果实区域等面积圆半径获取:计算各果实区域面积,在此基础上计算出等面积圆的半径;6、获取近大果实区域:对果实图像以半径变化的圆盘形结构元素进行迭代开运算操作,以此获取近大果实目标区域图像。本发明为单臂采摘机器人采摘目标的确定提供了一种简单有效的方法。

Patent Agency Ranking