-
公开(公告)号:CN113408690A
公开(公告)日:2021-09-17
申请号:CN202110742983.6
申请日:2021-07-01
Applicant: 之江实验室
Abstract: 本发明提出了一种基于多模态知识图谱的机器人个性化情感互动装置及方法,该装置包括多模态知识图谱、用户注册模块、状态识别模块、互动实施模块、知识更新模块。多模态知识图谱存储每个已注册用户的信息;用户注册模块用于为新用户注册;状态识别模块用于识别当前用户的身份和情感;互动实施模块用于生成与当前用户个性化情感互动的实施方案并下发给机器人执行;知识更新模块用于更新已注册用户在多模态知识图谱中的信息。本发明考虑了用多模态知识图谱分别存储每个用户的个性化信息,可以有效地应用于家庭服务机器人,让家庭中的每个用户都能获得个性化的情感互动体验。
-
公开(公告)号:CN112364853A
公开(公告)日:2021-02-12
申请号:CN202110044134.3
申请日:2021-01-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识库和PDDL语义设计的机器人任务执行方法,属于知识库和机器人自主决策领域。该方法包括:摄像头全局感知场景物体;图像视觉解析得到物体状态;使用图数据库进行进行知识库的表达;生成PDDL域文件和问题文件;执行规划并且返回机器人协同执行。本发明的方法可以实现室内场景下语义环境已知的情况下协同多机器人完成任务执行,对于多机器人自主决策执行有着较大的意义。
-
公开(公告)号:CN113433941A
公开(公告)日:2021-09-24
申请号:CN202110723659.X
申请日:2021-06-29
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本发明公开了一种基于多模态知识图谱的低层级机器人任务规划方法,结合多模态知识图谱将高层级动作序列进一步分解为低层级动作序列,该方法包括:高层级的任务规划和结合多模态知识图谱的低层级的任务规划。本发明通过构建具有更强的知识表达能力的多模态图谱,对机器人任务规划中难以描述的操作细节使用图文结合的表示方法,将高层级任务进一步分解,从而更好地解决复杂任务下的规划问题,进而提升机器人任务执行的成功率。
-
公开(公告)号:CN113487715B
公开(公告)日:2024-09-20
申请号:CN202110703465.3
申请日:2021-06-24
Applicant: 之江实验室
Abstract: 本发明公开了一种基于生成对抗网络的数据增强方法。通过生成对抗网络的特征提取,将车辆图像的深层特征渲染到一个既定的三维立体结构上,完成一幅二维图像到三维立体结构的重构,再进行三维单眼投影,获得其在所需视角的二维图像,完成车辆不同视角图像的生成。本发明在前沿作者的noise‑to‑image的基础上进行了修正尝试,使其完成了从noise‑to‑image到image‑to‑image的转换,在此之后,可以做到定向修改一种特定属性(车辆视角等),生成新视角的图像。
-
公开(公告)号:CN112364853B
公开(公告)日:2021-03-30
申请号:CN202110044134.3
申请日:2021-01-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识库和PDDL语义设计的机器人任务执行方法,属于知识库和机器人自主决策领域。该方法包括:摄像头全局感知场景物体;图像视觉解析得到物体状态;使用图数据库进行进行知识库的表达;生成PDDL域文件和问题文件;执行规划并且返回机器人协同执行。本发明的方法可以实现室内场景下语义环境已知的情况下协同多机器人完成任务执行,对于多机器人自主决策执行有着较大的意义。
-
公开(公告)号:CN113568324B
公开(公告)日:2023-10-20
申请号:CN202110729002.4
申请日:2021-06-29
Applicant: 之江实验室
IPC: G05B17/02
Abstract: 本发明公开了一种基于仿真演绎的知识图谱修正方法,该方法通过在仿真环境中大量重复相似的机器人行为,实现对机器人知识图谱的修正。其中知识图谱是一种能够表达机器人行为、环境、硬件关联的数据结构,用于机器人行为决策并执行任务。本发明基于仿真环境,所使用的仿真环境使用不限于现有的机器人仿真引擎,如unity3D、unreal4、gazebo,使用与机器人相似的仿真模型和环境,通过实时上传机器人与操作物件的信息,来修正知识图谱中机器人行为逻辑节点之间的关联。
-
公开(公告)号:CN113568324A
公开(公告)日:2021-10-29
申请号:CN202110729002.4
申请日:2021-06-29
Applicant: 之江实验室
IPC: G05B17/02
Abstract: 本发明公开了一种基于仿真演绎的知识图谱修正方法,该方法通过在仿真环境中大量重复相似的机器人行为,实现对机器人知识图谱的修正。其中知识图谱是一种能够表达机器人行为、环境、硬件关联的数据结构,用于机器人行为决策并执行任务。本发明基于仿真环境,所使用的仿真环境使用不限于现有的机器人仿真引擎,如unity3D、unreal4、gazebo,使用与机器人相似的仿真模型和环境,通过实时上传机器人与操作物件的信息,来修正知识图谱中机器人行为逻辑节点之间的关联。
-
公开(公告)号:CN113487715A
公开(公告)日:2021-10-08
申请号:CN202110703465.3
申请日:2021-06-24
Applicant: 之江实验室
Abstract: 本发明公开了一种基于生成对抗网络的数据增强方法。通过生成对抗网络的特征提取,将车辆图像的深层特征渲染到一个既定的三维立体结构上,完成一幅二维图像到三维立体结构的重构,再进行三维单眼投影,获得其在所需视角的二维图像,完成车辆不同视角图像的生成。本发明在前沿作者的noise‑to‑image的基础上进行了修正尝试,使其完成了从noise‑to‑image到image‑to‑image的转换,在此之后,可以做到定向修改一种特定属性(车辆视角等),生成新视角的图像。
-
-
-
-
-
-
-