-
公开(公告)号:CN117575038A
公开(公告)日:2024-02-20
申请号:CN202311466666.1
申请日:2023-11-06
Applicant: 之江实验室
IPC: G06N20/00 , G06F16/901 , G06F16/906 , G06F16/9035
Abstract: 本申请涉及一种基于大语言模型的机器人任务规划的知识蒸馏方法和系统,其中,该方法包括利用预先构建的提示语构造器对种子库中的数据进行处理,得到提示语;基于大语言模型,对提示语进行处理,得到答案列表;基于本体知识库,对答案列表进行过滤,得到第一目标数据;基于分类策略对第一目标数据进行分类,得到目标分类数据;将目标分类数据存储至对应的图数据库中;基于筛除策略对图数据库中的目标分类数据进行进一步过滤,得到第二目标数据;将第二目标数据用于机器人的任务规划,通过本申请,解决了现有技术中使用知识库预制机器人任务分解的泛化能力较差问题,提高了使用知识库预制机器人任务分解的泛化能力。
-
公开(公告)号:CN117407545A
公开(公告)日:2024-01-16
申请号:CN202311209566.0
申请日:2023-09-18
Applicant: 之江实验室
IPC: G06F16/48 , G06F16/438 , G06F16/45 , G06F40/30 , G06N5/022
Abstract: 本申请涉及一种机器人的展厅讲解方法、装置、电子装置和存储介质,其中,该讲解方法包括:基于机器人的候选动作与候选动作的交互意图,建立动作知识库,为目标展厅场景建立展厅场景知识库,展厅场景知识库中存储有候选讲解词,建立动作知识库中的候选动作与展厅场景知识库中的所述候选讲解词之间的关联关系,根据参观者的特征和预设的讲解时长需求,从候选讲解词中确定目标讲解词,根据目标讲解词,以及候选动作与候选讲解词之间的关联关系,为机器人生成目标讲解动作。通过本申请,解决了相关技术中对机器人进行讲解设置的效率较低的问题,提高了对机器人进行讲解设置的效率。
-
公开(公告)号:CN116952250B
公开(公告)日:2024-01-05
申请号:CN202311200121.6
申请日:2023-09-18
Applicant: 之江实验室
IPC: G01C21/20 , G06Q10/047 , G06F17/10
Abstract: 本发明公开了一种基于语义地图的机器人指路方法和装置,使用机器人对环境构建语义地图,并采集重要位置并进行语义标注作为语义点;随后构建有向连接图;以机器人当前位置作为起点,选取任意一个语义点作为目的地,获得从起点到目的地的最短路径作为规划路径;获取规划路径上每一个点相对于前一个点的方向信息并记载到列表中,并将规划路径上每一个点的语义信息记载到列表中,得到指路列表并生成指路文本;在机器人的显示屏上显示指路地图,或通过机器人的扬声器进行播放指路文本,完成指路任务。本发明能够生成多样化的指路文本,同时以多种形式对用户的问路进行回应,进一步提升了机器人的人机交互能力。
-
公开(公告)号:CN114625861B
公开(公告)日:2022-09-06
申请号:CN202210508811.7
申请日:2022-05-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/31 , G06F16/215 , G06F40/205
Abstract: 本发明公开了改进Transformer融入知识的端到端对话方法,首先收集以对话和知识组成的二元组,将该二元组作为训练数据;对训练数据进行清洗,将训练数据组成包括对话、知识和回复的三元组形式,并对该三元组进行预处理;构建由编码运算模块、知识解码器运算模块和解码器运算模块组成的改进的Transformer模型;利用训练数据与三元组训练改进的Transformer模型,并保存;将以对话和知识组成的二元组输入训练好的改进的Transformer模型中,模型预测输出回复结果;用户对模型输出的回复结果进行回复后,将模型输出的回复结果和用户回复拼接到对话记录串中,并选取新的知识输入训练好的改进的Transformer模型中持续进行端到端对话。该方法充分利用Transformer模型结构将知识细致融合用于生成对话。
-
公开(公告)号:CN114625861A
公开(公告)日:2022-06-14
申请号:CN202210508811.7
申请日:2022-05-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/31 , G06F16/215 , G06F40/205
Abstract: 本发明公开了改进Transformer融入知识的端到端对话方法,首先收集以对话和知识组成的二元组,将该二元组作为训练数据;对训练数据进行清洗,将训练数据组成包括对话、知识和回复的三元组形式,并对该三元组进行预处理;构建由编码运算模块、知识解码器运算模块和解码器运算模块组成的改进的Transformer模型;利用训练数据与三元组训练改进的Transformer模型,并保存;将以对话和知识组成的二元组输入训练好的改进的Transformer模型中,模型预测输出回复结果;用户对模型输出的回复结果进行回复后,将模型输出的回复结果和用户回复拼接到对话记录串中,并选取新的知识输入训练好的改进的Transformer模型中持续进行端到端对话。该方法充分利用Transformer模型结构将知识细致融合用于生成对话。
-
公开(公告)号:CN114610861A
公开(公告)日:2022-06-10
申请号:CN202210508804.7
申请日:2022-05-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/33 , G06F16/35 , G06F40/30 , G06N3/04
Abstract: 本发明公开了基于变分自编码器的融入知识和感情的端到端对话方法,所述方法包括:采集情感标签、对话、知识和回复,并进行预处理作为训练数据;搭建由变分自编码器模块和拷贝模块组成的模型,并进行训练;预处理测试数据,将测试数据输入训练好的模型中进行预测,得到回复,持续进行端到端对话。变分自编码器模块的编码模块编码情感标签和输入对话的语义信息。变分自编码器模块的解码模块融入知识和情感用于生成内容。拷贝模块结合解码器生成的内容、输入的对话和知识生成回复输出。本发明方法采用变分自编码器结构以生成丰富的回复;引入情感标签用于控制回复的情感类型;从输入对话和知识中拷贝信息,使生成回复兼具丰富性和可控性。
-
公开(公告)号:CN114237235A
公开(公告)日:2022-03-25
申请号:CN202111460950.9
申请日:2021-12-02
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本发明公开了一种基于深度强化学习的移动机器人避障方法,通过激光雷达获取点云数据,对点云数据进行卷积特征提取,与行人位置、行人速度、全局路径共同作为神经网络输入,建立全连接神经网络,设定环境奖励,通过PPO深度强化学习算法输出机器人动作。相对于其他规划或学习的导航方法,本方法无需对行人进行预测、传感器预处理、简化了算法复杂度,更加适用于在多人环境下的机器人导航策略。同时由于加入全局路径作为输入量,提升了算法的适用范围,同时也加快了算法的收敛时间。
-
公开(公告)号:CN113408690A
公开(公告)日:2021-09-17
申请号:CN202110742983.6
申请日:2021-07-01
Applicant: 之江实验室
Abstract: 本发明提出了一种基于多模态知识图谱的机器人个性化情感互动装置及方法,该装置包括多模态知识图谱、用户注册模块、状态识别模块、互动实施模块、知识更新模块。多模态知识图谱存储每个已注册用户的信息;用户注册模块用于为新用户注册;状态识别模块用于识别当前用户的身份和情感;互动实施模块用于生成与当前用户个性化情感互动的实施方案并下发给机器人执行;知识更新模块用于更新已注册用户在多模态知识图谱中的信息。本发明考虑了用多模态知识图谱分别存储每个用户的个性化信息,可以有效地应用于家庭服务机器人,让家庭中的每个用户都能获得个性化的情感互动体验。
-
公开(公告)号:CN112558641A
公开(公告)日:2021-03-26
申请号:CN202011445509.9
申请日:2020-12-08
Applicant: 之江实验室
Abstract: 本发明公开了一种基于计算人物意图控制机器人找回丢失人物的方法,该方法通过获取周边人物视觉定位信息与人物状态信息,建立人物轨迹计算,从而评定人物的意图,并结合声场实现人物丢失、远离后控制机器人运动找回该人物。其中所述的人物意图是一种状态,表示人物最近时间的行为动作,包含人物位置、状态、运动向量等。本发明基于视觉计算人物意图,使得原本使用视觉信息控制机器人找回目标人物的过程变得更加精确,并且能够在视觉失效的情况下也能尝试找回丢失人物。
-
公开(公告)号:CN114356078B
公开(公告)日:2024-03-19
申请号:CN202111539274.4
申请日:2021-12-15
Applicant: 之江实验室
IPC: G06F3/01
Abstract: 本发明涉及人工智能机器人行为交互领域,具体涉及一种基于注视目标的人物意图检测方法、装置及电子设备,该方法包括:利用机器人上的深度摄像头获取到彩色图像和深度图,通过注视目标估计方法在彩色图像中估计出人物的注视目标点,通过目标检测方法在彩色图像中检测出通用目标的包围框,将人物的注视目标点与通用目标相关联,得到彩色图像中的注视目标物体;利用深度图和机器人位姿坐标计算出机器人当前位置下的可观测到的点云,彩色图像中的注视目标物体映射到注视目标点云上;在语义地图上查询注视目标点云的位置上的语义信息,作为人物意图。本发明进一步提升机器人在人机交互的能力,更好地为人类进行服务。
-
-
-
-
-
-
-
-
-