本申请公开了一种虚拟数字人的交互方法及其系统，其中虚拟数字人的交互方法具体包括以下子步骤：获取虚拟数字人的表情动作；根据获取的虚拟数字人的表情动作构建表情动作库；响应于构建完成表情动作库，获取虚拟数字人的实时表情动作；根据虚拟数字人的实时表情动作为虚拟数字人添加特效。本申请通过表情动作库的建立与深度学习技术的结合，解决了目前因虚拟角色人物模型面部表情参数、身体动作参数多，出现识别错误，捕捉不全面，影响虚拟人物表情、动作生成的问题，从而提高了表情动作识别的准确率。