一种基于AI芯片的多模型并行推理方法

    公开(公告)号:CN112783650B

    公开(公告)日:2024-01-16

    申请号:CN202110075174.4

    申请日:2021-01-20

    Abstract: 本发明公开一种基于AI芯片的多模型并行推理方法。采用的技术方案包括以下步骤:步骤一:模型转换,至少将Tensorflow/Caffe AI框架训练的模型通过转换工具转换为AI芯片可解析的OM模型;步骤二:加载转换的OM模型,并遵循AscendCL库接口,采用线程方式并行执行多个模型推理。优点如下:针对单一推理模型并不能高效利用AI芯片(如华为公司的Ascend 310芯片)的算力的不足问题,以充分挖掘Ascend 310芯片的算力,研究多模型并行推理,同时能够保持良好的性能。

Patent Agency Ranking