-
公开(公告)号:CN112975968A
公开(公告)日:2021-06-18
申请号:CN202110218017.4
申请日:2021-02-26
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明涉及一种基于第三视角可变主体演示视频的机械臂模仿学习方法,包括:从演示视频中获取演示样本,并定义演示视频视角为第三视角;获取由观察图像序列组成的样本,并定义该图像视角为第一视角;对演示样本进行从第三视角到第一视角的转换;获取示范主体特征向量和对应姿态下机械臂的特征向量,并对其进行对齐操作;预测机械臂下一帧图像的特征向量;搭建机械臂逆动力学运动控制网络,将机械臂相邻帧的图像输入到控制网络中,输出机械臂的控制信号;重复执行上述步骤,直至机械臂完成演示视频中的所有动作。与现有技术相比,本发明具有在演示视频的示范主体为非机械臂的条件下,使机械臂能够实现模仿学习的优点。
-
公开(公告)号:CN119295661A
公开(公告)日:2025-01-10
申请号:CN202411371706.9
申请日:2024-09-29
Applicant: 同济大学
IPC: G06T17/00 , G06T15/00 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了基于3D信息注入的视角可控图像生成方法,旨在解决现有图像生成模型在特定对象视角控制方面的不足。通过融合3D信息和文本描述,此方法能够在多样化的场景和背景下生成逼真的特定对象图像。它采用了多层感知机和transformer等模型,以处理视角信息和文本特征,进而通过stable diffusion模型的U‑Net实现条件控制的图像生成。此外,引入位姿预测模块和新的损失函数,不仅提高了视角准确性,也增强了模型的适应性和生成图像的个性化程度。这种方法的实施有望推动图像生成技术在个性化和可控性方面的发展。
-
公开(公告)号:CN115070753B
公开(公告)日:2024-11-08
申请号:CN202210469373.8
申请日:2022-04-28
Applicant: 同济大学
IPC: B25J9/16 , G06F17/16 , G06V10/774
Abstract: 本发明涉及一种基于无监督图像编辑的多目标强化学习方法,包括:获取关于机器人控制场景的多目标任务数据集;训练对抗生成网络和特征空间编码器,将图像中与任务高度相关与不相关的因素进行解耦;对每个子空间对应全连接层的权重进行奇异值分解,获得贡献最大的若干个特征向量作为有语义信息的可编辑方向,并训练可编辑方向编码器来识别出可编辑方向的类别和尺度;基于可编辑方向编码器的输出得到图像的可编辑表征空间,作为控制策略网络的输入以及奖励函数的计算,同时通过在可编辑表征空间中可控地采样出各种目标任务来训练机器人,最终得到可完成多个目标的控制策略。与现有技术相比,本发明具有能够无监督解耦开任务相关因素、提升样本效率和泛化性能等优点。
-
公开(公告)号:CN117612700A
公开(公告)日:2024-02-27
申请号:CN202311212843.3
申请日:2023-09-19
Applicant: 同济大学
IPC: G16H50/20 , G06F16/36 , G06F18/214 , G06T7/00
Abstract: 本发明提出一种基于知识图谱的可控肺部CT影像生成系统,包括4个功能模块:肺部CT影像及诊断数据采集模块、肺部CT影像学诊断知识图谱构建模块、基于知识图谱的可控肺部CT影像生成模型训练模块、基于知识图谱的可控肺部CT影像生成采样模块。该系统提出一种以知识表征为控制信息的条件生成对抗网络框架,通过异构图表征网络,从依据专家知识构建的肺部CT影像学诊断知识图谱中提取各病例节点的知识表征,将其作为控制信息输入生成器,另一方面,判别器会依据生成图像与控制信息的匹配度,给出条件判别损失,与常规的真伪判别损失加和,联合监督生成器的训练,确保生成的图像能够真实且忠实得呈现控制信息指定的语义。
-
公开(公告)号:CN117162090A
公开(公告)日:2023-12-05
申请号:CN202311184535.4
申请日:2023-09-14
Applicant: 同济大学
IPC: B25J9/16
Abstract: 本发明公开了一种基于多模态强化学习算法的倒水服务机器人控制方法,该方法使用文字、声音和单目RGB图像作为输入,为机器人提供丰富的多模态信息,采用神经网络对多模态信息进行表征、对齐、修正和融合,使机器人能利用强化学习算法快速自学习地完成服务倒水任务,解决了现实生活场景下使用强化学习训练机器人完成倒水任务的以下问题:费时费力且训练过程不稳定、训练模型不健壮、任务完成度不高。并发明可以更加快速地使机器人自学习地学会完成倒水任务,并且更加准确地执行倒水动作。
-
公开(公告)号:CN116958262A
公开(公告)日:2023-10-27
申请号:CN202310976771.3
申请日:2023-08-04
Applicant: 同济大学
IPC: G06T7/73 , G06T7/13 , G06N3/0455
Abstract: 本发明提供一种基于单张RGB图像的6dof物体位姿估计方法,属于计算机视觉和计算机图形学技术领域,包括对RGB图像的特征提取、三维点云重建和位姿估计三个步骤。特征提取通过搭建特征提取网络架构实现。三维点云重建是先根据物体具有的各种低层次(几何学、反射率)和高层次(连接性、对称性)的特性,得到物体的中间信息,再进一步生成物体的3D点云模型。位姿估计是使用一个异构网络分别处理RGB数据和点云数据,通过融合网络整合两种数据的特征,从而预测物体的位姿信息。本发明所提出的6dof物体位姿检测方法重点针对数据量小、RGBD数据格式不易获取、无物体3D模型等问题,能够保证目标物体位姿检测的准确性和可泛化性,可以有效应用于现实场景。
-
公开(公告)号:CN116306947A
公开(公告)日:2023-06-23
申请号:CN202310090294.0
申请日:2023-02-09
Applicant: 同济大学
Abstract: 本发明提供一种基于蒙特卡洛树探索的多智能体决策方法,属于任务规划技术领域,包括1:基于分布式部分观测马尔可夫决策过程对多智能体决策任务进行建模;2:基于模型初始化蒙特卡洛树;3:在预设的时间内采用上限置信区间算法进行树内探索,采用随机策略对树外进行探索,拓展蒙特卡洛树节点,并根据产生的奖励更新蒙特卡洛树节点价值;4:根据已经构建的蒙特卡洛树进行多智能体决策,并对蒙特卡洛树进行剪枝,更新根节点的信念值,重复S3‑S4,直至任务完成。本发明中,采用在线探索方法,可以在有限的时间内取得Dec‑POMDP模型的近似解;对不同的智能体分别建立独立的蒙特卡洛树,降低了探索空间,加大了探索深度,提供了更好的求解质量。
-
公开(公告)号:CN114444687A
公开(公告)日:2022-05-06
申请号:CN202210015285.0
申请日:2022-01-07
Applicant: 同济大学
IPC: G06N3/08 , G06N3/04 , G06K9/62 , G06V10/30 , G06V10/764 , G06V10/774 , G06V10/82
Abstract: 本发明涉及一种基于伪标签噪声过滤的小样本半监督学习方法和装置,其中方法在执行过程中,主模型与伪标签过滤模型交替优化,主模型使用半监督学习方法训练,伪标签过滤模型使用噪声标签学习方法训练。主模型与伪标签过滤模型的优化交替执行若干轮次,每一轮次后,部分无标签数据连同其当前伪标签将被划入带标签数据集,直至优化停滞,输出优化后的模型。与现有技术相比,本发明得到的模型具有在图像识别方面准确度更好等优点。
-
公开(公告)号:CN114170454A
公开(公告)日:2022-03-11
申请号:CN202111303088.0
申请日:2021-11-04
Applicant: 同济大学
Abstract: 一种基于关节分组策略的智能体元动作学习方法,用于机器人自动控制,通过关节分组和元动作的时空融合来控制机器人快速学会新任务,从而避免了花费大量时间进行从头训练。提出了一个信息论目标来优化强化学习算法训练机器人,从而学会一系列多样的元动作策略;基于动态时间规整算法进行关节之间的轨迹相似性计算,进而基于层次聚类算法实现机器人关节的分组;根据关节组对应掩码得到不同关节组的元动作控制策略;构建层次结构的机器人总控制策略网络,通过线性组合各个关节组元动作策略的权重,实现在时间层面和空间层面上的元动作融合,从而能够快速学会新任务;同时,增强机器人动作的协调性和连贯性,在新任务上能够达到更好的表现。
-
公开(公告)号:CN112809689A
公开(公告)日:2021-05-18
申请号:CN202110217079.3
申请日:2021-02-26
Applicant: 同济大学
Abstract: 本发明涉及一种基于语言引导的机械臂动作元模仿学习方法及存储介质,元模仿学习方法包括:基于采样控制策略引导机械臂创建示教数据;构建语言提示函数,根据当前子目标输出提示语言,引导机械臂修正当前动作;使用深度神经网络构建机械臂控制网络,基于元模仿学习的学习范式,训练控制网络自主学习自然语言指令中的关键字语义信息和像素空间的对应关系,并在测试中能够通过人的语言提示来快速适应新的任务目标和应用场景,实现更精准的机械臂动作预测。与现有技术相比,本发明具有部署复杂度低、任务完成精度高等优点。
-
-
-
-
-
-
-
-
-