公开(公告)号：CN119045823A

公开(公告)日：2024-11-29

申请号：CN202410642450.4

申请日：2024-05-23

Applicant: 中国科学院计算技术研究所

Inventor： 郭嘉丰 ,  程学旗 ,  杨俣哲 ,  李琳 ,  张志斌 ,  廖华明 ,  邱强

IPC: G06F8/41 ,  G06F8/30 ,  G06N3/08 ,  G06F18/25

Abstract: 本发明提供了一种支持多硬件的深度学习模型编译方法和编译器，包括：获取需要编译的深度学习模型的计算图与目标设备信息；将目标设备信息基于预设的硬件模型转换为硬件属性中间形式，基于深度学习模型的基本操作获取线性操作中间形式，基于深度学习模型的张量，获取张量形状中间形式；基于张量与张量形状中间形式，获取内存中间形式，并采用异构内存传输折叠方法优化内存拷贝行为；基于获取的线性操作中间形式获取循环中间形式，采用融合、堆叠、向量化的方法，优化循环中间形式中的循环，并转化为向量中间形式，基于预设的计算模型获取异构设备数据操作规则中间形式；基于前面获取的多个中间形式，获取可在目标设备进行推理的可执行代码。