公开(公告)号：CN116931728A

公开(公告)日：2023-10-24

申请号：CN202310888398.6

申请日：2023-07-19

Applicant: 之江实验室

Inventor： 孙尧 ,  袭向明 ,  宋伟 ,  顾建军 ,  朱世强

IPC: G06F3/01 ,  G10L15/26 ,  G10L15/22 ,  G06F3/16 ,  G06F16/332 ,  G06V40/20

Abstract: 本发明公开了类人机器人的多模态人机交互控制系统，包括数据采集模块，多模态人机交互管理模块，具身智能模块以及对话策略模块；所述数据采集模块，用于获取机器人服务范围内的环境数据；所述多模态机器人交互管理模块，用于根据输入的环境数据，以生成机器人与用户的相对位姿和状态信息；所述对话策略模块，根据用户的状态信息，生成对应的对话策略，所述对话策略包括启动对话，暂停对话和恢复对话；所述具身智能模块，用于根据输入的相对位姿和状态信息，以控制机器人完成交互任务，所述交互任务包括与用户进行动作和语音交互。本发明还提供了一种多模态人机交互控制方法。本发明提供的系统可以使得类人机器人交互过程中更加注重交互礼仪。

公开(公告)号：CN116775845A

公开(公告)日：2023-09-19

申请号：CN202310888378.9

申请日：2023-07-19

Applicant: 之江实验室

Inventor： 孙尧 ,  宋伟 ,  袭向明 ,  周元海 ,  顾建军 ,  朱世强

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/35

Abstract: 本发明公开了一种具身智能机器人的主动多轮对话系统，包括：数据采集模块，用于获取机器人服务范围内的环境信息；历史记录模块，基于用户的身份ID，存储人机多轮对话的交互信息，所述交互信息包括对话内容和交互结果；对话生成模块，用于生成回复文本；具身智能算法模块，生成动作指令以控制机器人靠近用户并进入交互状态；主动对话策略模块，生成对应的主动对话策略；机器人根据生成的回复文本和主动对话策略，在交互状态中执行对话任务。本发明还提供了一种主动多轮对话方法。本发明提供的该系统可以有效以多轮对话的方式推动机器人和用户之间的交互任务，从而提高机器人的对话达成率和服务智能程度。

公开(公告)号：CN117556894A

公开(公告)日：2024-02-13

申请号：CN202311505193.1

申请日：2023-11-13

Applicant: 之江实验室

Inventor： 宋伟 ,  周元海 ,  朱世强 ,  孙尧 ,  任杰 ,  穆宗昊 ,  方伟

IPC: G06N5/01 ,  B25J9/16 ,  G06N5/04 ,  G06N5/02

Abstract: 本发明公开了一种基于语义网络和知识库控制机器人任务决策的系统，包括语义网络模块用于提供构建任务决策行为树的语义网络，该语义网络通过大语言模型的问答结果和知识库进行补充拓展；大语言模型模块用于利用大语言模型进行知识问答输出问答结果；知识库模块用于提供构建任务决策行为树的知识；任务决策模块用于依据语义网络模块、大语言模型模块、知识库模块构建任务决策行为树，具体通过查询语义网络构建决策树的节点，通过大语言模型的问答结果进行节点参数的填充，通过知识库进行节点参数的填充；变量存储模块用于存储在构建任务决策行为树时的临时变量。这样构建决策行为树更加准确性。