-
公开(公告)号:CN117556894A
公开(公告)日:2024-02-13
申请号:CN202311505193.1
申请日:2023-11-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于语义网络和知识库控制机器人任务决策的系统,包括语义网络模块用于提供构建任务决策行为树的语义网络,该语义网络通过大语言模型的问答结果和知识库进行补充拓展;大语言模型模块用于利用大语言模型进行知识问答输出问答结果;知识库模块用于提供构建任务决策行为树的知识;任务决策模块用于依据语义网络模块、大语言模型模块、知识库模块构建任务决策行为树,具体通过查询语义网络构建决策树的节点,通过大语言模型的问答结果进行节点参数的填充,通过知识库进行节点参数的填充;变量存储模块用于存储在构建任务决策行为树时的临时变量。这样构建决策行为树更加准确性。
-
公开(公告)号:CN114237235B
公开(公告)日:2024-01-19
申请号:CN202111460950.9
申请日:2021-12-02
Applicant: 之江实验室
Abstract: 本发明公开了一种基于深度强化学习的移动机器人避障方法,通过激光雷达获取点云数据,对点云数据进行卷积特征提取,与行人位置、行人速度、全局路径共同作为神经网络输入,建立全连接神经网络,设定环境奖励,通过PPO深度强化学习算法输出机器人动作。相对于其他规划或学习的导航方法,本方法无需对行人进行预测、传感器预处理、简化了算法复杂度,更加适用于在多人环境下的机器人导航策略。同时由于加入全局路径作为输入量,提升了算法的适用范围,同时也加快了算法的收敛时间。
-
公开(公告)号:CN116402164B
公开(公告)日:2023-09-05
申请号:CN202310658638.3
申请日:2023-06-06
Applicant: 之江实验室
Abstract: 本发明涉及一种基于预训练语言模型的机器人任务生成方法、装置及介质,所述方法包括以下步骤:基于预先设计的Prompt模板,添加所述自然语言文本和场景感知描述文本,生成输入数据;基于输入数据采用预训练语言模型获得对应的预测结果列表,抽取推理结果语言描述列表;获取机器人技能列表,将推理结果语言描述列表与机器人技能列表进行对比分析;以机器人技能列表中相似度最大的一个机器人技能作为当前机器人推理决策结果;判断是否推理结束,若是,则以当前未完成的机器人技能作为机器人任务输出,若否,则将当前机器人推理决策结果更新到Prompt模板中。与现有技术相比,本发明具有操作性更强、方便易用等优点。
-
公开(公告)号:CN115512003A
公开(公告)日:2022-12-23
申请号:CN202211430055.7
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06T11/20 , G06V10/774 , G06V10/764 , G06V10/74 , G06T7/73
Abstract: 本发明属于计算机视觉领域,涉及一种独立关系检测的场景图生成方法和系统,该方法包括:步骤一,建立独立关系检测模型;步骤二,利用图像、图像对应的关系标签以及预定义方向锚训练所述独立关系检测模型,得到训练好的独立关系检测模型;步骤三,使用训练好的独立关系检测模型,输入图像和预定义方向锚,输出图像中存在的关系,对其中相似的关系采用相似关系抑制算法进行抑制;步骤四,同时将通过目标检测算法检测得到的物体包围框与所述输出图像中存在的关系的关系起始点和关系末端点进行位置匹配,得到 的三元组,构成场景图。本发明在不依靠目标检测结果的情况下就能对图像中的关系进行检测,提升了场景图生成的运算速度。
-
公开(公告)号:CN114153943B
公开(公告)日:2024-05-17
申请号:CN202111384677.6
申请日:2021-11-22
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识图谱构建机器人行为树的系统及方法,系统包括:知识图谱及行为树,知识图谱通过一组有向连接的动作节点,根据AOG格式构建,动作节点包括动作类别及其对应的一组动作特征、动作作用对象,有向连接根据比对动作特征连接动作节点;行为树根据主谓宾结构的任务,将主语和宾语作为动作作用对象,将谓语分类到动作类别对应的一组动作特征,根据动作特征构建对应的行为,根据行为构建行为节点,并根据子动作节点有向连接调换行为树各行为节点的顺序;方法包括:S1,构建对象知识库;S2,构建动作知识库;S3,构建知识图谱;S4,构建行为树。
-
公开(公告)号:CN117235321A
公开(公告)日:2023-12-15
申请号:CN202311131177.0
申请日:2023-09-04
Applicant: 之江实验室
IPC: G06F16/9035 , G06F16/9038 , G06F16/901 , G06Q50/10
Abstract: 本申请涉及一种展览点位推荐方法、装置、电子装置和存储介质,其中,该展览点位推荐方法包括:根据用户信息及用户当前所在的展览点位,从预设的知识图谱中获取用户的画像数据及用户当前所在的展览点位的数据;将用户的画像数据及用户当前所在的展览点位的数据输入预先训练的推荐模型中,生成目标展览点位及目标展览点位排序,以供用户进行选择。通过本申请提高了导览机器人自主规划推荐功能开发的效率。
-
公开(公告)号:CN116089609A
公开(公告)日:2023-05-09
申请号:CN202211629245.1
申请日:2022-12-19
Applicant: 之江实验室
Abstract: 本发明公开了一种机器人任务自主决策执行的方法,包括以下步骤:将机器人相关知识分类别构建,包括静态知识和动态知识;根据静态知识和动态知识,将不同类别的知识采用不同形式表达,构建出多层次的多模态知识图谱;采用差异化存储知识的方式对多模态知识图谱进行存储,使得不同类别知识间相互关联;机器人基于关联的多模态知识图谱,实现任务的自主决策执行,这样通过分类存储各类知识,便于机器人基于各类知识的自主决策。
-
公开(公告)号:CN114356078A
公开(公告)日:2022-04-15
申请号:CN202111539274.4
申请日:2021-12-15
Applicant: 之江实验室
IPC: G06F3/01
Abstract: 本发明涉及人工智能机器人行为交互领域,具体涉及一种基于注视目标的人物意图检测方法、装置及电子设备,该方法包括:利用机器人上的深度摄像头获取到彩色图像和深度图,通过注视目标估计方法在彩色图像中估计出人物的注视目标点,通过目标检测方法在彩色图像中检测出通用目标的包围框,将人物的注视目标点与通用目标相关联,得到彩色图像中的注视目标物体;利用深度图和机器人位姿坐标计算出机器人当前位置下的可观测到的点云,彩色图像中的注视目标物体映射到注视目标点云上;在语义地图上查询注视目标点云的位置上的语义信息,作为人物意图。本发明进一步提升机器人在人机交互的能力,更好地为人类进行服务。
-
公开(公告)号:CN114153943A
公开(公告)日:2022-03-08
申请号:CN202111384677.6
申请日:2021-11-22
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识图谱构建机器人行为树的系统及方法,系统包括:知识图谱及行为树,知识图谱通过一组有向连接的动作节点,根据AOG格式构建,动作节点包括动作类别及其对应的一组动作特征、动作作用对象,有向连接根据比对动作特征连接动作节点;行为树根据主谓宾结构的任务,将主语和宾语作为动作作用对象,将谓语分类到动作类别对应的一组动作特征,根据动作特征构建对应的行为,根据行为构建行为节点,并根据子动作节点有向连接调换行为树各行为节点的顺序;方法包括:S1,构建对象知识库;S2,构建动作知识库;S3,构建知识图谱;S4,构建行为树。
-
公开(公告)号:CN117235321B
公开(公告)日:2024-04-16
申请号:CN202311131177.0
申请日:2023-09-04
Applicant: 之江实验室
IPC: G06F16/9035 , G06F16/9038 , G06F16/901 , G06Q50/10
Abstract: 本申请涉及一种展览点位推荐方法、装置、电子装置和存储介质,其中,该展览点位推荐方法包括:根据用户信息及用户当前所在的展览点位,从预设的知识图谱中获取用户的画像数据及用户当前所在的展览点位的数据;将用户的画像数据及用户当前所在的展览点位的数据输入预先训练的推荐模型中,生成目标展览点位及目标展览点位排序,以供用户进行选择。通过本申请提高了导览机器人自主规划推荐功能开发的效率。
-
-
-
-
-
-
-
-
-