人机交互方法、装置、电子设备及存储介质

    公开(公告)号:CN115826744A

    公开(公告)日:2023-03-21

    申请号:CN202211436816.X

    申请日:2022-11-16

    Abstract: 本发明提供一种人机交互方法、装置、电子设备及存储介质,其中方法包括:获取指代场景下的用户图像和用户语音;对所述用户图像进行指代动作识别,得到所述用户图像中的指代方向信息;基于所述指代方向信息,从所述指代场景中确定出候选物品;基于所述用户语音的语义信息,从所述候选物品中确定出指代物品;基于所述指代物品,进行人机交互。本发明提供的方法、装置、电子设备及存储介质,图像与语音的结合保证了指代物品确定的可靠性和准确性,且方法执行无需用户提前熟悉操作指令,也不要求指代场景下的物品携带设备标识符,极大降低了基于指代消解的人机交互的执行门槛,有助于扩宽人机交互的应用范围。

Patent Agency Ranking