用于执行机器学习模型的自适应量化

    公开(公告)号:CN115210719A

    公开(公告)日:2022-10-18

    申请号:CN202180017280.5

    申请日:2021-03-04

    IPC分类号: G06N3/063

    摘要: 本公开的某些方面提供了一种用于在计算设备上自适应地执行机器学习模型的技术。示例方法一般包括接收用于要在计算设备上执行的机器学习模型的权重信息。所接收到的权重信息被减少到相对于所接收到的权重信息具有减少的比特大小的经量化权重信息。第一推断使用该机器学习模型和该所接收到的权重信息,并且第二推断使用该机器学习模型和该经量化权重信息来执行。第一和第二推断的结果被比较,确定该第二推断的结果在该第一推断的结果的阈值性能水平内,并且基于该确定,使用该机器学习模型和该经量化权重信息来执行一个或多个后续推断。