本申请提供的一种基于虚拟人的手势交互方法及系统，其中，所述方法包括：所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，通过所述虚拟人输出多模态数据；接收用户根据所述多模态数据输入的多模态交互数据；解析所述多模态交互数据，其中，所述多模态交互数据包括通过视觉能力检测并提取嘘声打断手势的图像；当所述嘘声打断手势满足第一预设条件时，确定该手势指示嘘声打断意图；所述虚拟人响应所述嘘声打断意图，停止输出多模态数据。本申请实现与虚拟人的流畅交互，用户体验效果好。