多模态融合门前场景联动控制方法、系统及存储介质

    公开(公告)号:CN118795803A

    公开(公告)日:2024-10-18

    申请号:CN202410006417.2

    申请日:2024-01-02

    Abstract: 本发明提供多模态融合门前场景联动控制方法、系统及存储介质,涉及门前场景联动控制技术领域,所述方法包括:获取多模态数据;将多模态数据输入至预设处理模型,获取输出的多模态融合特征向量,多模态融合特征向量表征身份和意图;根据多模态融合特征向量,从预设的联动规则数据库中检索匹配对应的联动控制信息,联动控制信息包括至少一条对受控终端的控制指令;根据联动控制信息,将各条控制指令发送向对应的受控终端。基于多模态数据进行处理,获得门前人物的身份和意图,进而匹配对应的联动控制信息,达到联动控制的效果,令联动控制的依据更多维度、更全面,同时结合门前人物的身份和意图进行联动控制,有利于联动控制更加灵活和准确。

Patent Agency Ranking