为助理系统处理多模态用户输入

    公开(公告)号:CN112292674B

    公开(公告)日:2024-10-01

    申请号:CN201880094828.4

    申请日:2018-08-03

    申请人: 元平台公司

    摘要: 在一个实施例中,一种方法包括从与第一用户相关联的客户端系统接收基于一个或更多个模态的用户输入,其中至少一个模态是视觉模态,基于一个或更多个机器学习模型、基于视觉模态来识别与用户输入相关联的一个或更多个主体,基于一个或更多个机器学习模型分别确定与一个或更多个主体相关联的一个或更多个属性,基于所确定的一个或更多个属性来解析对应于一个或更多个主体的一个或更多个实体,执行与一个或更多个解析的实体相关联的一个或更多个任务,以及向与第一用户相关联的客户端系统发送用于响应于用户输入来呈现通信内容的指令,该通信内容包括与所执行的一个或更多个任务相关联的信息。