-
-
公开(公告)号：CN113076615B
公开(公告)日：2022-07-15
申请号：CN202110449963.X
申请日：2021-04-25
申请人： 上海交通大学
摘要： 本发明提供了一种基于对抗式深度强化学习的高鲁棒性机械臂操作方法及系统，包括：工业相机对机械臂操作环境进行拍摄，获取机械臂操作环境的RGB图像信息和深度信息；传感器对工业相机的位姿进行感应，获取相机的位姿信息，得到相机的外参矩阵T；基于获取的环境的RGB图像信息和深度信息，根据相机的外参矩阵和内参矩阵计算得到环境点云；环境点云通过最远距离采样得到三维点云分域张量，将三维点云分域张量输入点云特征提取网络提取环境的点云特征；构建由物理引擎搭建的仿真物理环境，设定机械臂具体任务的对抗式深度强化学习模型；利用机械臂与环境交互获取的经验数据训练对抗式深度强化学习框架直至收敛，得到训练后的对抗式深度强化学习框架。
-
公开(公告)号：CN111311664A
公开(公告)日：2020-06-19
申请号：CN202010140536.9
申请日：2020-03-03
申请人： 上海交通大学
摘要： 本发明提供了一种深度、位姿与场景流的联合无监督估计方法及系统，包括：步骤M1：对连续两帧图像，根据深度网络得到对应的两帧深度图；步骤M2：根据两帧深度图以及位姿网络得到的连续两帧间的位姿变换；步骤M3：根据两帧间的位姿变换，结合相机模型得到在第一帧相机坐标系下，第一帧图像的空间点云 以及在第二帧相机坐标系下第二帧图像的空间点云 步骤M4：根据场景流差异、第一帧图像的空间点云 和第二帧图像的空间点云 指导深度网络、位姿网络和场景流网络的训练，实现无监督学习；本发明解决了场景流网络、深度网络、位姿网络的训练过程中缺乏标注数据集的问题，降低了训练模型的成本，并实现了较高的准确性，有利于实际应用。
-
-
公开(公告)号：CN113160330B
公开(公告)日：2023-04-07
申请号：CN202110411702.9
申请日：2021-04-16
申请人： 上海交通大学
摘要： 本发明提供了一种基于端到端的相机与激光雷达标定方法、系统及介质，包括：步骤1：对相机RGB图像进行逐层特征提取；步骤2：对激光雷达点云数据进行逐层特征提取；步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。本发明提升了相机与激光雷达标定的精度，改善了传统卷积神经网络方法在由点云获得的深度特征提取上的误差问题，在特征融合方式上提出了新的融合方式，在自动驾驶等场景上有实际利用价值。
-
公开(公告)号：CN113076615A
公开(公告)日：2021-07-06
申请号：CN202110449963.X
申请日：2021-04-25
申请人： 上海交通大学
摘要： 本发明提供了一种基于对抗式深度强化学习的高鲁棒性机械臂操作方法及系统，包括：工业相机对机械臂操作环境进行拍摄，获取机械臂操作环境的RGB图像信息和深度信息；传感器对工业相机的位姿进行感应，获取相机的位姿信息，得到相机的外参矩阵T；基于获取的环境的RGB图像信息和深度信息，根据相机的外参矩阵和内参矩阵计算得到环境点云；环境点云通过最远距离采样得到三维点云分域张量，将三维点云分域张量输入点云特征提取网络提取环境的点云特征；构建由物理引擎搭建的仿真物理环境，设定机械臂具体任务的对抗式深度强化学习模型；利用机械臂与环境交互获取的经验数据训练对抗式深度强化学习框架直至收敛，得到训练后的对抗式深度强化学习框架。
-
公开(公告)号：CN111311664B
公开(公告)日：2023-04-21
申请号：CN202010140536.9
申请日：2020-03-03
申请人： 上海交通大学
摘要： 本发明提供了一种深度、位姿与场景流的联合无监督估计方法及系统，包括：步骤M1：对连续两帧图像，根据深度网络得到对应的两帧深度图；步骤M2：根据两帧深度图以及位姿网络得到的连续两帧间的位姿变换；步骤M3：根据两帧间的位姿变换，结合相机模型得到在第一帧相机坐标系下，第一帧图像的空间点云以及在第二帧相机坐标系下第二帧图像的空间点云步骤M4：根据场景流差异、第一帧图像的空间点云和第二帧图像的空间点云指导深度网络、位姿网络和场景流网络的训练，实现无监督学习；本发明解决了场景流网络、深度网络、位姿网络的训练过程中缺乏标注数据集的问题，降低了训练模型的成本，并实现了较高的准确性，有利于实际应用。
-
公开(公告)号：CN112836824B
公开(公告)日：2023-04-18
申请号：CN202110240172.6
申请日：2021-03-04
申请人： 上海交通大学
摘要： 本发明提供了一种单目三维人体位姿无监督学习方法、系统及介质，包括：步骤A：运用骨骼长度估计网络和骨骼方向估计网络输出骨骼向量，对每一个目标关节，给出一组由根关节到此关节的骨骼路径，沿路径将骨骼向量相加得到一组粗糙关节坐标；步骤B：通过注意力网络得到每条路径的注意力，对每组粗糙关节坐标加权得到最终关节坐标；步骤C：在单帧3D到2D的投影位置误差的基础上，添加基于投影一致的位移误差损失，训练骨长、方向估计网络和注意力网络。本发明提出基于投影一致的单目相机三维人体位姿无监督学习方法，提高了对关节预测的准确性，有利于实际利用。
-
公开(公告)号：CN113160330A
公开(公告)日：2021-07-23
申请号：CN202110411702.9
申请日：2021-04-16
申请人： 上海交通大学
摘要： 本发明提供了一种基于端到端的相机与激光雷达标定方法、系统及介质，包括：步骤1：对相机RGB图像进行逐层特征提取；步骤2：对激光雷达点云数据进行逐层特征提取；步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。本发明提升了相机与激光雷达标定的精度，改善了传统卷积神经网络方法在由点云获得的深度特征提取上的误差问题，在特征融合方式上提出了新的融合方式，在自动驾驶等场景上有实际利用价值。
-
公开(公告)号：CN112836824A
公开(公告)日：2021-05-25
申请号：CN202110240172.6
申请日：2021-03-04
申请人： 上海交通大学
摘要： 本发明提供了一种单目三维人体位姿无监督学习方法、系统及介质，包括：步骤A：运用骨骼长度估计网络和骨骼方向估计网络输出骨骼向量，对每一个目标关节，给出一组由根关节到此关节的骨骼路径，沿路径将骨骼向量相加得到一组粗糙关节坐标；步骤B：通过注意力网络得到每条路径的注意力，对每组粗糙关节坐标加权得到最终关节坐标；步骤C：在单帧3D到2D的投影位置误差的基础上，添加基于投影一致的位移误差损失，训练骨长、方向估计网络和注意力网络。本发明提出基于投影一致的单目相机三维人体位姿无监督学习方法，提高了对关节预测的准确性，有利于实际利用。
-
-
-
-
-
-
-
-
-
搜索结果
10 条记录 (耗时 0.027 秒)
