公开(公告)号：CN119201130A

公开(公告)日：2024-12-27

申请号：CN202411282501.3

申请日：2024-09-13

Applicant: 中国科学院计算技术研究所

Inventor： 徐勇军 ,  陈文鑫 ,  刁博宇 ,  刘杭达

IPC: G06F8/41 ,  G06N3/10 ,  G06F18/2431 ,  G06F18/243 ,  G06N5/01 ,  G06N20/20

Abstract: 本发明提供了一种针对动态形状算子的编译优化方法，包括：获取待编译的基于神经网络的模型，确定其内的动态形状算子在当前执行时的输入形状；将输入形状输入多分类器，得到该输入形状对应的预测优化方案，其中，所述多分类器是利用针对该模型收集的训练集预先训练得到的，训练集中包括基于GPU的硬件信息针对模型的所有动态形状算子的多种输入形式进行模拟优化后收集的样本，每个样本包括一种动态形状算子对应的一种确定的输入形状及根据该输入形状在GPU的CUDA核心和Tensor核心上的优化方案的实际运行情况择优选出的最终优化方案；根据预测优化方案对模型中对应的动态形状算子进行编译。