本发明实施例公开了一种推理卡的内存分配方法、装置、电子设备及存储介质。该方法包括：获取推理卡中待进行计算的目标算子集，确定目标算子集对应的目标内存分配字典；目标内存分配字典包括：各算子的内存请求大小、内存请求时长、以及内存请求开始时间；根据目标内存分配字典以及与目标算子集对应的当前内存分配结果，确定下一内存分配结果对应的目标内存占用上下界；根据目标内存占用上下界，对目标算子集中的算子进行推理卡内存分配，并循环上述确定目标内存占用上下界进行内存分配的步骤，直至目标算子集中各算子均已内存分配。通过目标内存分配字典，提高了内存分配处理操作便捷性；且考虑内存占用上下界进行内存分配，优化了内存分配机制。