-
公开(公告)号:CN116931728A
公开(公告)日:2023-10-24
申请号:CN202310888398.6
申请日:2023-07-19
Applicant: 之江实验室
Abstract: 本发明公开了类人机器人的多模态人机交互控制系统,包括数据采集模块,多模态人机交互管理模块,具身智能模块以及对话策略模块;所述数据采集模块,用于获取机器人服务范围内的环境数据;所述多模态机器人交互管理模块,用于根据输入的环境数据,以生成机器人与用户的相对位姿和状态信息;所述对话策略模块,根据用户的状态信息,生成对应的对话策略,所述对话策略包括启动对话,暂停对话和恢复对话;所述具身智能模块,用于根据输入的相对位姿和状态信息,以控制机器人完成交互任务,所述交互任务包括与用户进行动作和语音交互。本发明还提供了一种多模态人机交互控制方法。本发明提供的系统可以使得类人机器人交互过程中更加注重交互礼仪。
-
公开(公告)号:CN116795972A
公开(公告)日:2023-09-22
申请号:CN202311010097.X
申请日:2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/211 , G06F40/289 , G06F18/214 , G06F40/30 , G06F18/25 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备,将若干个独立表达句输入该模型的生成器,以得到融合句,并将该融合句加入训练数据集,将该训练数据集中的待判别句输入该模型的来源判别器,以确定待判别句是否为原始句的判别结果,根据该判别结果分别确定该来源判别器的来源判别损失及生成器的来源生成损失,根据该来源生成损失及该来源判别损失,对该模型进行训练,其中,该模型的生成器用于将回复用户的若干独立表达句进行融合。本方法通过对模型中的生成器和来源判别器进行对抗训练,以使生成器生成接近原始句的融合句,获得语序正常、内容衔接自然不生硬的句子,来源判别器更精准判断输入的句子是否为原始句。
-
公开(公告)号:CN116719325A
公开(公告)日:2023-09-08
申请号:CN202310896067.7
申请日:2023-07-20
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本申请涉及服务机器人领域,特别是涉及一种应用于服务机器人的路径规划方法、装置、服务机器人及存储介质。所述方法包括:获取目标对象所处的环境信息以及目标对象的第一状态信息;基于环境信息以及第一状态信息,利用训练完成的马尔可夫决策过程模型,得到目标对象的第一运动趋势预测结果;及基于环境信息以及第一状态信息,利用社会力模型,得到目标对象的第二运动趋势预测结果;融合第一运动趋势预测结果及第二运动趋势预测结果,得到第三运动趋势预测结果;基于第三运动趋势预测结果,确定最优规划路径,并执行相应的引导指令。本发明具有提高服务效果、个性化导航服务、提高用户体验和应对复杂环境的有益效果。
-
公开(公告)号:CN115329784B
公开(公告)日:2023-04-07
申请号:CN202211245822.7
申请日:2022-10-12
Applicant: 之江实验室
IPC: G06F40/58 , G06F40/30 , G06F40/247 , G06F40/205 , G06F16/35 , G06F18/22
Abstract: 本发明公开了基于预训练模型的句子复述生成系统,包括复述生成模块、流利度过滤模块和语义过滤模块,复述生成模块用于生成复述,复述生成模块包括翻译生成、模型生成和同义词替换生成模块,翻译生成模块通过直译和回译两种方法生成复述,模型生成模块通过直接训练中文复述生成模型生成复述和利用英文复述生成模型间接生成中文复述,同义词生成模块通过替换原句中的同义词生成复述,本发明充分利用开源的预训练模型资源,利用翻译模型进行直接翻译生成复述和回译生成复述,提高生成复述的效率和多样性,利用预训练的语言模型将英语复述生成模型应用到中文复述生成中,使用多项措施确保生成高质量复述。
-
公开(公告)号:CN115329784A
公开(公告)日:2022-11-11
申请号:CN202211245822.7
申请日:2022-10-12
Applicant: 之江实验室
IPC: G06F40/58 , G06F40/30 , G06F40/247 , G06F40/205 , G06F16/35 , G06K9/62
Abstract: 本发明公开了基于预训练模型的句子复述生成系统,包括复述生成模块、流利度过滤模块和语义过滤模块,复述生成模块用于生成复述,复述生成模块包括翻译生成、模型生成和同义词替换生成模块,翻译生成模块通过直译和回译两种方法生成复述,模型生成模块通过直接训练中文复述生成模型生成复述和利用英文复述生成模型间接生成中文复述,同义词生成模块通过替换原句中的同义词生成复述,本发明充分利用开源的预训练模型资源,利用翻译模型进行直接翻译生成复述和回译生成复述,提高生成复述的效率和多样性,利用预训练的语言模型将英语复述生成模型应用到中文复述生成中,使用多项措施确保生成高质量复述。
-
公开(公告)号:CN114723055A
公开(公告)日:2022-07-08
申请号:CN202210201643.7
申请日:2022-03-03
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识图谱推理机器人行为链路的方法,涉及人工智能机器人任务行为规划、知识图谱领域。本发明方法首先构建三元组知识图谱,再构建机器人本体知识图谱;然后根据构建的三元组知识图谱和机器人本体知识图谱规划行为树链路,得到完整的机器人行为目标;再根据行为树链路,获得所有路径;然后根据机器人能够执行的动作进行筛选路径,并对筛选后的链路进行排序;最后利用排序后的链路完成机器人行为链路规划。本发明方法将机器人行为控制问题转化为知识图谱求解问题。
-
公开(公告)号:CN113433941A
公开(公告)日:2021-09-24
申请号:CN202110723659.X
申请日:2021-06-29
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本发明公开了一种基于多模态知识图谱的低层级机器人任务规划方法,结合多模态知识图谱将高层级动作序列进一步分解为低层级动作序列,该方法包括:高层级的任务规划和结合多模态知识图谱的低层级的任务规划。本发明通过构建具有更强的知识表达能力的多模态图谱,对机器人任务规划中难以描述的操作细节使用图文结合的表示方法,将高层级任务进一步分解,从而更好地解决复杂任务下的规划问题,进而提升机器人任务执行的成功率。
-
-
-
-
-
-