-
-
公开(公告)号:CN117292329A
公开(公告)日:2023-12-26
申请号:CN202311575138.X
申请日:2023-11-24
Applicant: 烟台大学 , 烟台新旧动能转换研究院暨烟台科技成果转移转化示范基地
Abstract: 本发明属于机器视觉领域及目标检测与关键点检领域,提供了一种建筑机器人工作异常监测方法、系统、介质及设备,其技术方案为:获取建筑机器人在建筑场景下的工作视频数据;基于视频数据和训练后的第一神经网络,获取建筑机器人在空间中的位置信息;在空间中的位置信息范围内,结合训练后的第二神经网络,将提取的不同分辨率特征图融合,基于融合后的特征图预测得到建筑机器人关键点坐标;通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。不仅可以从宏观上监测建筑机器人整体,而且可以从微观上监测建筑机器人的局部是否正常运行,而且在建筑机器人上部署大量的传感器,降低了成本。
-
公开(公告)号:CN116704017A
公开(公告)日:2023-09-05
申请号:CN202310998840.0
申请日:2023-08-09
Applicant: 烟台大学 , 烟台新旧动能转换研究院暨烟台科技成果转移转化示范基地
IPC: G06T7/70 , G06V10/82 , G06V10/774 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于视觉混合的机械臂位姿检测方法,其特征在于,方法包括、S1、获取机械臂的目标检测数据与关键点检测数据,并进行预处理;S2、机械臂目标检测框选,通过神经网络模型对机械臂目标检测对应的PASCAL VOC数据集进行训练,框选出机械臂的整体信息;S3、机械臂骨架信息检测,通过神经网络模型对机械臂关键点检测对应的COCO数据集进行训练,获取机械臂的骨架信息;S4、机械臂骨架三维角度测算,利用机械臂的三维空间信息测算机械臂在不同位姿下的弯曲角度信息。本发明的一种基于视觉混合的机械臂位姿检测方法,能够实现实时检测机械臂的目标检测框选信息与骨架信息,并通过同步获取到的三维空间信息测算机械臂在不同位姿下的弯曲角度。
-
公开(公告)号:CN116704017B
公开(公告)日:2023-11-14
申请号:CN202310998840.0
申请日:2023-08-09
Applicant: 烟台大学 , 烟台新旧动能转换研究院暨烟台科技成果转移转化示范基地
IPC: G06T7/70 , G06V10/82 , G06V10/774 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于视觉混合的机械臂位姿检测方法,其特征在于,方法包括、S1、获取机械臂的目标检测数据与关键点检测数据,并进行预处理;S2、机械臂目标检测框选,通过神经网络模型对机械臂目标检测对应的PASCAL VOC数据集进行训练,框选出机械臂的整体信息;S3、机械臂骨架信息检测,通过神经网络模型对机械臂关键点检测对应的COCO数据集进行训练,获取机械臂的骨架信息;S4、机械臂骨架三维角度测算,利用机械臂的三维空间信息测算机械臂在不同位姿下的弯曲角度信息。本发明的一种基于视觉混合的机械臂位姿检测方法,能够实现实时检测机械臂的目标检测框选信息与骨架信息,并通过同步获取到的三维空间信息测算机械臂在不同位姿下的弯曲角度。
-
公开(公告)号:CN118893636B
公开(公告)日:2025-01-21
申请号:CN202411396563.7
申请日:2024-10-09
Applicant: 烟台大学
IPC: B25J9/16
Abstract: 本发明涉及神经网络技术领域,尤其是涉及一种基于卷积神经网络的机器人姿态估计方法及系统。方法,包括获取工业机器人姿态信息数据;对获取的工业机器人姿态信息数据进行自动化标注,得到数据集;对数据集进行预处理;利用预处理后的数据集训练卷积神经网络模型;利用训练好的卷积神经网络模型对机器人进行姿态估计。本发明通过自动化标注与手工校准相结合的方法,生成高精度的工业机器人臂姿态数据集,克服了传统方法中手工标注耗时和不精确的问题。
-
公开(公告)号:CN118506107A
公开(公告)日:2024-08-16
申请号:CN202410954465.4
申请日:2024-07-17
Applicant: 烟台大学
IPC: G06V10/764 , G06V10/74 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/06 , G06N3/084
Abstract: 本发明涉及机器人技术领域,尤其是涉及一种基于多模态多任务学习的机器人分类检测方法及系统,包括S1.构建多模态数据集并进行数据预处理;S2.将语义信息数据集和图像数据集进行对齐;S3.构建多模态目标检测模型,将多模态数据集输入模型进行多任务学习,对多模态数据集进行特征提取,并将提取后的视觉图像特征和语义信息特征进行特征融合,利用核心语义注意力机制计算机器人的视觉图像特征的加权和,通过优化加权和完成对模型进行训练。本发明提出了一种基于多模态多任务学习的机器人分类检测方法,融合机器人的图像与语义信息,提升检测时文本与图像的特征交互性,使检测模型具备更高的准确性与鲁棒性。
-
公开(公告)号:CN118305818B
公开(公告)日:2024-08-13
申请号:CN202410733032.6
申请日:2024-06-07
Applicant: 烟台大学
Abstract: 本发明涉及计算机视觉技术领域,尤其是涉及一种基于双手交互姿态估计的仿生机械手控制方法及系统。所述方法,包括获取图像数据集,包括获取手部姿态和形状的数据集,并对获取的数据集进行整合;基于获取的手部姿态数据集进行手部姿态估计,包括构建并利用神经网络模型进行手部姿态的特征提取;利用轻量级神经网络模型对手部姿态数据集中手部图像进行特征分析,得到双手的姿态信息;根据特征分析结果进行轻量级神经网络模型训练;通过双手的姿态信息进行姿态对齐和映射,基于姿态对齐和映射生成仿生机械手的控制信息。本发明通过采用轻量级神经网络架构,实现了对两只手之间相对位置的准确预测,使机械手在执行任务时更加准确和可靠。
-
公开(公告)号:CN116665312B
公开(公告)日:2023-10-31
申请号:CN202310959781.6
申请日:2023-08-02
Applicant: 烟台大学
IPC: G06V40/20 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多尺度图卷积神经网络的人机协作方法;该方法包括如下步骤:S1、数据采集:采集人机协作场景人体骨架数据集,并进行预处理,获取预处理数据;S2、模型训练:加载预处理数据。通过训练多尺度图卷积神经网络,获取人体行为识别网络模型;S3、人体行为识别:通过训练好的深度学习网络模型,预测人体行为;S4、人机交互:利用通信算法将预测信息发送到机器人系统,机器人基于人体行为做出动作规划。本发明的一种多尺度图卷积神经网络的人机协作方法,能够实现在真实场景机器人对人体行为及意图的预测,并做出正确交互,从而弥补传统机器人只能完成重复性工作的不足。
-
公开(公告)号:CN118298491A
公开(公告)日:2024-07-05
申请号:CN202410710860.8
申请日:2024-06-04
Applicant: 烟台大学
IPC: G06V40/16 , G06V10/52 , G06V10/77 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/047 , G06N3/08
Abstract: 本发明涉及表情识别技术领域,尤其是涉及一种基于多尺度特征和空间注意力的表情识别方法及系统。方法,包括利用HNFER神经网络模型对获取的面部图像数据进行特征提取,得到原始输入特征图;基于CoordAtt注意力机制对提取的特征进行池化拼接,得到特征图;对特征图进行深度卷积处理,得到注意力图,再通过元素相乘得到最终的特征图;通过对最终的特征图进行特征变换和归一化,得到表情类别概率并输出。本发明通过集成尺度感知和空间注意力技术,模型能够更精准地识别和分类不同的情绪状态,即使在复杂的环境条件下也能保持高性能。
-
公开(公告)号:CN117420917A
公开(公告)日:2024-01-19
申请号:CN202311743426.1
申请日:2023-12-19
Applicant: 烟台大学
Abstract: 本发明公开一种基于手部骨架的虚拟现实控制方法、系统、设备及介质,涉及虚拟现实技术领域,包括:获取手势图像并进行实例分割,得到手部目标区域候选框,采用通道注意力机制对手部目标区域候选框进行修正后,得到手部目标区域;采用训练后的手部关键点检测模型,对手部目标区域提取骨骼点矩阵;通过样条插值方法对骨骼点矩阵进行重标定,得到更新后的骨骼点矩阵;根据更新后的骨骼点矩阵在虚拟空间中映射为手势信息,由此控制操作虚拟对象。通过多视图图像训练模型,使其具有从2D推断三维信息的能力,同时通过对骨骼点矩阵进行重标定,达到防抖动与跳变的效果,提升识别准确性与稳定性。
-
-
-
-
-
-
-
-
-