公开(公告)号：CN116884000A

公开(公告)日：2023-10-13

申请号：CN202310837433.1

申请日：2023-07-10

Applicant: 之江实验室

Inventor： 宋伟 ,  金天磊 ,  张格格 ,  袭向明 ,  孟启炜 ,  谢冰

IPC: G06V20/70 ,  G06V10/74 ,  G06V10/764 ,  G06V10/25

Abstract: 本发明公开了一种基于视觉语言与关系检测的关系指代表达理解方法和装置，包括：将关系指代表达分解为参考物体、参考关系和指代物体；利用目标检测算法得到场景图像中的候选实体；利用视觉语言模型分别计算参考物体和指代物体的语言特征与候选实体的视觉特征之间的相似度，得到参考物体相似度和指代物体相似度；利用关系检测算法计算候选实体之间的在参考关系的关系类别上的参考关系概率；由参考物体相似度、指代物体相似度和参考关系概率建立邻接表；依据邻接表计算参考物体相似度、指代物体相似度和参考关系概率的综合概率，由综合概率最高值确定关系指代表达理解的实体。本发明适用于提高服务机器人在关系指代表达理解方面的人机交互能力。

公开(公告)号：CN116775845A

公开(公告)日：2023-09-19

申请号：CN202310888378.9

申请日：2023-07-19

Applicant: 之江实验室

Inventor： 孙尧 ,  宋伟 ,  袭向明 ,  周元海 ,  顾建军 ,  朱世强

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/35

Abstract: 本发明公开了一种具身智能机器人的主动多轮对话系统，包括：数据采集模块，用于获取机器人服务范围内的环境信息；历史记录模块，基于用户的身份ID，存储人机多轮对话的交互信息，所述交互信息包括对话内容和交互结果；对话生成模块，用于生成回复文本；具身智能算法模块，生成动作指令以控制机器人靠近用户并进入交互状态；主动对话策略模块，生成对应的主动对话策略；机器人根据生成的回复文本和主动对话策略，在交互状态中执行对话任务。本发明还提供了一种主动多轮对话方法。本发明提供的该系统可以有效以多轮对话的方式推动机器人和用户之间的交互任务，从而提高机器人的对话达成率和服务智能程度。

公开(公告)号：CN116127953B

公开(公告)日：2023-07-25

申请号：CN202310410135.4

申请日：2023-04-18

Applicant: 之江实验室

Inventor： 宋伟 ,  赵鑫安 ,  朱世强 ,  袭向明 ,  尹越

IPC: G06F40/232 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明公开了一种基于对比学习的中文拼写纠错方法、装置和介质，该方法首先收集原始纠错数据并进行预处理；然后根据预处理后的纠错数据构建中文拼写纠错模型的数据集；再构建包括embedding模块、编码器、错误检测网络和错误纠正网络的中文拼写纠错模型，将待纠错文本输入中文拼写纠错模型输出字符编码向量序列、字符错误概率序列和正确字符概率分布；其次基于对比学习使用数据集对中文拼写纠错模型进行训练，根据损失函数值更新参数，并保存训练好的中文拼写纠错模型；最后将待纠错文本输入训练好的中文拼写纠错模型进行纠错，以获取纠错后的文本。本发明可以有效地提升中文拼写纠错模型的鲁棒性和纠错准确率，具有很强的实用性。

公开(公告)号：CN116091413A

公开(公告)日：2023-05-09

申请号：CN202211585880.4

申请日：2022-12-09

Applicant: 之江实验室

Inventor： 金天磊 ,  郭方泰 ,  宋伟 ,  朱世强 ,  袭向明 ,  穆宗昊 ,  孟启炜

IPC: G06T7/00 ,  G06T7/70 ,  G06V20/70

Abstract: 本发明公开了一种语境知识引导的视觉关系检测方法和装置，包括：获取场景图像，确定场景图像中物体对的语义向量和语境向量，从场景图像中提取包含物体对的局部图像并确定物体对的位置掩码；利用语境知识生成模块根据物体对的语境向量提取物体对的语境知识，利用视觉特征提取模块根据局部图像和物体对的位置掩码提取物体对的视觉特征，利用语义特征提取模块根据物体对的语义向量提取物体对的语义特征，利用视觉关系检测模块根据物体对的视觉特征和语义特征计算物体对的视觉预测结果，利用综合判断模块依据视觉预测结果与物体对的语境知识综合判断得到语境知识引导的物体对的视觉关系。该方法和装置通过语境知识引导提升视觉关系检测的准确性。

公开(公告)号：CN115858811A

公开(公告)日：2023-03-28

申请号：CN202211609449.9

申请日：2022-12-14

Applicant: 之江实验室

Inventor： 朱世强 ,  袭向明 ,  龙沁沁 ,  谢冰 ,  赵鑫安 ,  尹越 ,  宋伟

IPC: G06F16/36 ,  G06F18/22 ,  G06F18/214 ,  G06F40/295 ,  G06F40/30 ,  G06F16/35 ,  G06F18/25 ,  G06F16/31 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于知识图谱的中文易混词生成方法。该方法包括中文词知识图谱的本体设计、中文文本数据的预处理过程、中文词对在语义/字音/字形等方面的相似性计算过程、知识图谱实例化过程、用户输入文本的预处理过程、与用户输入文本相对应的知识图谱子图抽取过程以及以多源异构数据为输入的中文易混词生成过程等。本发明可从发音、字形、语义等多方面刻画中文词对的相似性，并能结合文本的领域和主题信息，实现跨领域中文易混淆词的准确生成。

公开(公告)号：CN115796288A

公开(公告)日：2023-03-14

申请号：CN202211511472.4

申请日：2022-11-29

Applicant: 之江实验室

Inventor： 周元海 ,  宋伟 ,  朱世强 ,  李特 ,  宛敏红 ,  金天磊 ,  袭向明

IPC: G06N5/045 ,  G06F40/30

Abstract: 本发明公开了一种基于知识库的动态场景下推理任务的方法和装置，包括：在将表达知识库的语义网络按照关系类型划分为动作关系子网络、状态变化关系子网络、从属关系子网络以及介词关系子网络的基础上，依据动作关系子网络进行任务的行为树缺失判断的推理，通过所有子网络实现目标物体和与状态相关的感知数据等缺失数据的推理获取，进而实现行为树的推理。这样的方式能够避免使用任务知识或结构化的机器人任务设计语言，使用通用的语义网络完成任务的推理规划，实现机器人的作业问题，该推理过程不需要过多的人为编辑和干预，作为技术使用方，只需要提供完备的语义网络和实时感知数据，即可以完成对机器人行为的自主控制。

公开(公告)号：CN115292469A

公开(公告)日：2022-11-04

申请号：CN202211186444.X

申请日：2022-09-28

Applicant: 之江实验室

Inventor： 尹越 ,  谢冰 ,  袭向明 ,  宋伟 ,  朱世强

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/31 ,  G06F40/247 ,  G06F40/284 ,  G06F40/289

Abstract: 本发明属于自然语言处理领域，涉及一种结合段落搜索和机器阅读理解的问答方法，包括：步骤一，收集作为答案来源的文章，对文章进行文本段落切分，对切分后的文本段落做分词操作后再进行词扩展，得到新的文本段落，再对新的文本段落进行倒排索引的构建；步骤二，收集阅读理解模型的训练数据，训练阅读理解模型；步骤三，采用训练好的阅读理解模型接受用户输入的问句，将问句转换为倒排索引检索语句，并检索出候选段落，在每一个候选段落中找出若干小段文本作为候选答案，再通过判断所有候选答案和输入问句的相关性，选择最优答案。本发明可有效的提升在限定域中问句的回复率，同时提升回答所需数据集构建的效率，具有较好的实用性。

公开(公告)号：CN114610861B

公开(公告)日：2022-08-26

申请号：CN202210508804.7

申请日：2022-05-11

Applicant: 之江实验室

Inventor： 谢冰 ,  宋伟 ,  朱世强 ,  袭向明 ,  金天磊 ,  周元海

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06F40/30 ,  G06N3/04

Abstract: 本发明公开了基于变分自编码器的融入知识和感情的端到端对话方法，所述方法包括：采集情感标签、对话、知识和回复，并进行预处理作为训练数据；搭建由变分自编码器模块和拷贝模块组成的模型，并进行训练；预处理测试数据，将测试数据输入训练好的模型中进行预测，得到回复，持续进行端到端对话。变分自编码器模块的编码模块编码情感标签和输入对话的语义信息。变分自编码器模块的解码模块融入知识和情感用于生成内容。拷贝模块结合解码器生成的内容、输入的对话和知识生成回复输出。本发明方法采用变分自编码器结构以生成丰富的回复；引入情感标签用于控制回复的情感类型；从输入对话和知识中拷贝信息，使生成回复兼具丰富性和可控性。

公开(公告)号：CN117573845B

公开(公告)日：2024-05-24

申请号：CN202410054169.9

申请日：2024-01-15

Applicant: 之江实验室

Inventor： 宋伟 ,  袭向明 ,  谢冰 ,  张格格 ,  赵文宇 ,  朱世强 ,  顾建军

IPC: G06F16/332 ,  G06F40/30 ,  G06F40/289 ,  G06F18/213 ,  G06F18/25

Abstract: 本发明公开了一种面向跨领域人机协同作业的机器人自然语言理解方法。该方法包括人机协同作业领域/意图/槽位标签及关系定义、数据集构建、自然语言通用理解模型构建和参数学习、自然语言理解场景模型构建和参数学习、利用模型进行在线预测等过程。通过定义具体领域中通用槽位标签与专用槽位标签之间的对应关系，以及场景特征描述和人物特征描述，实现对用户意图的识别和对应槽位信息的识别，增强了自然语言理解模型的跨领域泛化能力。本发明所构建的机器人自然语言理解场景模型具备处理多模态输入数据的能力，且在模型参数学习过程中，增加了对模型稳定性的度量，有效提高了自然语言理解的准确率、降低了误识别率。

公开(公告)号：CN116952250A

公开(公告)日：2023-10-27

申请号：CN202311200121.6

申请日：2023-09-18

Applicant: 之江实验室

Inventor： 宋伟 ,  张格格 ,  朱世强 ,  方伟 ,  周元海 ,  穆宗昊 ,  袭向明

IPC: G01C21/20 ,  G06Q10/047 ,  G06F17/10

Abstract: 本发明公开了一种基于语义地图的机器人指路方法和装置，使用机器人对环境构建语义地图，并采集重要位置并进行语义标注作为语义点；随后构建有向连接图；以机器人当前位置作为起点，选取任意一个语义点作为目的地，获得从起点到目的地的最短路径作为规划路径；获取规划路径上每一个点相对于前一个点的方向信息并记载到列表中，并将规划路径上每一个点的语义信息记载到列表中，得到指路列表并生成指路文本；在机器人的显示屏上显示指路地图，或通过机器人的扬声器进行播放指路文本，完成指路任务。本发明能够生成多样化的指路文本，同时以多种形式对用户的问路进行回应，进一步提升了机器人的人机交互能力。