公开(公告)号：CN118003329A

公开(公告)日：2024-05-10

申请号：CN202410303260.X

申请日：2024-03-18

Applicant: 复旦大学

Inventor： 李伟 ,  刘子昂 ,  刘司澳

IPC: B25J9/16

Abstract: 本发明涉及一种应用于机械臂控制的视觉强化学习测试时适应方法，包括：S1、获取经过训练的用于机械臂控制的智能体；S2、将智能体置于实际环境中作为当前智能体，并构建知识库；S3、当前智能体从实际环境中获取当前图像，当前图像存入知识库中，智能体输出当前动作；S4、判断知识库中的图像是否达到批次阈值，若否，则返回S3，反之，进行前向传播，更新当前智能体的各个批归一化层；S5、重复S3～S4，得到各个批归一化层的结果均值和结果方差；S6、将结果均值和结果方差与均值和方差的初始值进行混合，得到混合均值和混合方差。与现有技术相比，本发明具有提高强化学习的环境适用性等优点。

公开(公告)号：CN118003329B

公开(公告)日：2024-09-06

申请号：CN202410303260.X

申请日：2024-03-18

Applicant: 复旦大学

Inventor： 李伟 ,  刘子昂 ,  刘司澳

IPC: B25J9/16

Abstract: 本发明涉及一种应用于机械臂控制的视觉强化学习测试时适应方法，包括：S1、获取经过训练的用于机械臂控制的智能体；S2、将智能体置于实际环境中作为当前智能体，并构建知识库；S3、当前智能体从实际环境中获取当前图像，当前图像存入知识库中，智能体输出当前动作；S4、判断知识库中的图像是否达到批次阈值，若否，则返回S3，反之，进行前向传播，更新当前智能体的各个批归一化层；S5、重复S3～S4，得到各个批归一化层的结果均值和结果方差；S6、将结果均值和结果方差与均值和方差的初始值进行混合，得到混合均值和混合方差。与现有技术相比，本发明具有提高强化学习的环境适用性等优点。

公开(公告)号：CN117408127A

公开(公告)日：2024-01-16

申请号：CN202310177338.3

申请日：2023-02-28

Applicant: 复旦大学

Inventor： 刘子昂 ,  李伟 ,  张隆源 ,  刘司澳

IPC: G06F30/27 ,  G01C21/20 ,  G06V20/00 ,  G06V10/82 ,  G06N3/092

Abstract: 本发明提供了一种利用中层视觉先验的强化学习路径规划方法，具有这样的特征，包括以下步骤：步骤S1，将图像数据输入视觉处理网络得到中层特征信息；步骤S2，将中层特征信息向量化为向量信息D；步骤S3，对坐标进行转化；步骤S4，将向量信息D、当前位置坐标Q’和目标点坐标T’输入决策模型，得到下一个路径点P’；步骤S5，将下一个路径点P’作为当前位置坐标Q’，迭代执行步骤S4，得到可跟随路径L；步骤S6，控制机器人根据可跟随路径L移动，t时间后重新采集图像数据；步骤S7，重复执行步骤S1至步骤S6，直至控制机器人移动至目标点。总之，本方法能够利用感知信息控制机器人进行更有效的导航移动。