-
公开(公告)号:CN117171346A
公开(公告)日:2023-12-05
申请号:CN202311153257.6
申请日:2023-09-07
Applicant: 之江实验室
IPC: G06F16/35 , G06F16/33 , G06F40/295 , G06F40/30
Abstract: 本说明书公开了一种实体链接方法、装置、存储介质及电子设备。所述实体链接方法包括:获取待链接文本、待链接文本中包含的各实体提及,根据预先确定的实体提及与实体之间的映射关系表,确定待链接文本中包含的每个实体提及对应的候选实体,将待链接文本、待链接文本中包含的各实体提及、预设的候选实体的描述文本输入到预先训练的实体链接模型中,以通过实体链接模型确定每个候选实体的描述文本的特征表示与待链接文本的特征表示之间的细粒度交互特征表示,并确定每个候选实体为目标链接实体的概率,以根据概率,从各候选实体中确定出待链接文本对应的目标链接实体,并根据目标链接实体进行任务执行。
-
公开(公告)号:CN116952250A
公开(公告)日:2023-10-27
申请号:CN202311200121.6
申请日:2023-09-18
Applicant: 之江实验室
IPC: G01C21/20 , G06Q10/047 , G06F17/10
Abstract: 本发明公开了一种基于语义地图的机器人指路方法和装置,使用机器人对环境构建语义地图,并采集重要位置并进行语义标注作为语义点;随后构建有向连接图;以机器人当前位置作为起点,选取任意一个语义点作为目的地,获得从起点到目的地的最短路径作为规划路径;获取规划路径上每一个点相对于前一个点的方向信息并记载到列表中,并将规划路径上每一个点的语义信息记载到列表中,得到指路列表并生成指路文本;在机器人的显示屏上显示指路地图,或通过机器人的扬声器进行播放指路文本,完成指路任务。本发明能够生成多样化的指路文本,同时以多种形式对用户的问路进行回应,进一步提升了机器人的人机交互能力。
-
公开(公告)号:CN116942180A
公开(公告)日:2023-10-27
申请号:CN202310929261.0
申请日:2023-07-26
Applicant: 之江实验室
Abstract: 本说明书公开了一种多特征加权融合的脑电分类方法及装置,可以通过采集的脑电数据,得到脑电样本,脑电数据中包括被试者处于静息状态时的数据以及被试者处于预设运动想象状态时的数据,提取得到脑电样本中alpha,beta与gamma频段的脑电数据,按照各频段分别对应的权重,对各频段的脑电特征进行加权融合得到融合后的脑电特征,进而,将融合后的脑电特征输入预设的分类模型,以最小化该分类模型输出的分类结果与该脑电样本实际的类别之间的差异为优化目标,对分类模型进行训练,以通过训练后的分类模型对实时采集到的用户的脑电数据进行分类,从而提高了脑电数据分类的准确性。
-
公开(公告)号:CN116933058A
公开(公告)日:2023-10-24
申请号:CN202310928436.6
申请日:2023-07-26
Applicant: 之江实验室
IPC: G06F18/213 , G06F18/22 , G06F18/10 , G06F18/214 , G06N3/0442 , G06N3/08 , G06F3/01
Abstract: 本说明书公开了一种基于脑电识别的任务执行方法、装置、介质及设备。所述方法包括:采集用户注视各目标物时的脑电波数据,针对每个目标物,按照指定时间长度的滑动时间窗对用户注视该目标物时产生的脑电波数据进行提取,得到各时间窗对应的脑电波数据;对各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理,得到处理后脑电波数据;根据处理后脑电波数据以及人脑处于静息态时的脑电频谱均值,确定脑电频谱;在预先生成的各模板频谱中确定出与脑电频谱相匹配的模板频谱,作为目标模板频谱;根据用户注视每个目标物时所对应的目标模板频谱,生成控制指令,并基于控制指令控制目标设备执行任务。
-
公开(公告)号:CN116931728A
公开(公告)日:2023-10-24
申请号:CN202310888398.6
申请日:2023-07-19
Applicant: 之江实验室
Abstract: 本发明公开了类人机器人的多模态人机交互控制系统,包括数据采集模块,多模态人机交互管理模块,具身智能模块以及对话策略模块;所述数据采集模块,用于获取机器人服务范围内的环境数据;所述多模态机器人交互管理模块,用于根据输入的环境数据,以生成机器人与用户的相对位姿和状态信息;所述对话策略模块,根据用户的状态信息,生成对应的对话策略,所述对话策略包括启动对话,暂停对话和恢复对话;所述具身智能模块,用于根据输入的相对位姿和状态信息,以控制机器人完成交互任务,所述交互任务包括与用户进行动作和语音交互。本发明还提供了一种多模态人机交互控制方法。本发明提供的系统可以使得类人机器人交互过程中更加注重交互礼仪。
-
公开(公告)号:CN115862668B
公开(公告)日:2023-10-24
申请号:CN202211503728.7
申请日:2022-11-28
Applicant: 之江实验室
Abstract: 机器人基于声源定位判断交互对象的方法,包括:S1.预处理信息;S2.计算机器人周边人物相对于x轴单位向量的夹角;S3.判断交互对象。在语音从开始输入至输出结束的时间内,根据声源定位的角度,再结合视觉输出的机器人周边人物的坐标,计算出机器人周边哪个人物的方位与声源定位角度最接近,最接近的人物即为与机器人交互的人物。
-
公开(公告)号:CN115862130B
公开(公告)日:2023-10-20
申请号:CN202211433342.3
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06V40/20 , G06V40/10 , G06V10/40 , G06V10/764 , G06V10/774 , G06V20/52 , G06V10/82 , G06V20/40 , G06N3/0464 , G06N3/047 , G06N3/084
Abstract: 基于人体姿态及其躯干运动场的行为识别方法,包括:获取多人人体彩色图像作为输入;采用目标检测网络从所述多人人体彩色图像中检测二维人体包围框,采用二维人体姿态估计网络从截取的图像中计算二维人体姿态;基于二维人体姿态分别计算关键点热图和躯干运动场,拼接这两种模态作为人体姿态表征;将人体姿态表征作为输入,建立姿态网络用于提取人体行为特征,输出分类器中概率最大的行为类别;采集多人人体彩色图像序列、二维人体姿态以及对应的类别标签作为训练数据集,采用随机梯度下降的优化方法对姿态网络进行预训练优化。本发明减少了复杂背景下行为动作在时间序列的歧义性,提高了低采样帧率下的行为识别的准确率。
-
公开(公告)号:CN116795972A
公开(公告)日:2023-09-22
申请号:CN202311010097.X
申请日:2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/211 , G06F40/289 , G06F18/214 , G06F40/30 , G06F18/25 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备,将若干个独立表达句输入该模型的生成器,以得到融合句,并将该融合句加入训练数据集,将该训练数据集中的待判别句输入该模型的来源判别器,以确定待判别句是否为原始句的判别结果,根据该判别结果分别确定该来源判别器的来源判别损失及生成器的来源生成损失,根据该来源生成损失及该来源判别损失,对该模型进行训练,其中,该模型的生成器用于将回复用户的若干独立表达句进行融合。本方法通过对模型中的生成器和来源判别器进行对抗训练,以使生成器生成接近原始句的融合句,获得语序正常、内容衔接自然不生硬的句子,来源判别器更精准判断输入的句子是否为原始句。
-
公开(公告)号:CN116719325A
公开(公告)日:2023-09-08
申请号:CN202310896067.7
申请日:2023-07-20
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本申请涉及服务机器人领域,特别是涉及一种应用于服务机器人的路径规划方法、装置、服务机器人及存储介质。所述方法包括:获取目标对象所处的环境信息以及目标对象的第一状态信息;基于环境信息以及第一状态信息,利用训练完成的马尔可夫决策过程模型,得到目标对象的第一运动趋势预测结果;及基于环境信息以及第一状态信息,利用社会力模型,得到目标对象的第二运动趋势预测结果;融合第一运动趋势预测结果及第二运动趋势预测结果,得到第三运动趋势预测结果;基于第三运动趋势预测结果,确定最优规划路径,并执行相应的引导指令。本发明具有提高服务效果、个性化导航服务、提高用户体验和应对复杂环境的有益效果。
-
公开(公告)号:CN115761885B
公开(公告)日:2023-08-29
申请号:CN202211433310.3
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06V40/20 , G06V10/42 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 一种共时与跨域异步融合驱动的行为识别方法,包括:获取多人人体彩色图像作为图像序列;从截取图像中估计二维人体姿态,计算二维人体姿态的关键点热图作为姿态序列;建立表观网络,以图像序列作为输入并提取图像特征;同时,建立姿态网络,以姿态序列作为输入并提取姿态特征;以图像特征和姿态特征作为输入,将图像特征和姿态特征进行缩放、对齐和融合;将融合后的图像特征和姿态特征归一化,拼接归一化后的双流特征得到全局特征,输入到分类器中求解概率最大的行为类别;采集多人人体彩色图像序列、二维人体姿态及其对应的类别标签作为训练数据集,对表观网络、姿态网络、共时缩放单元和跨域融合单元进行预训练优化。
-
-
-
-
-
-
-
-
-