摘要:
本发明提供了一种深度学习任务的处理方法、装置及计算机可读存储介质。本发明实施例提供的深度学习任务的处理方法、装置及计算机可读存储介质,在每次模型训练之前导入足够的训练数据,基于已导入本地存储的训练数据进行模型的训练,在模型训练过程中,训练数据的读取和中间模型文件的保存都在本地存储进行,从而保证了模型训练的速度。另外,本发明实施例将模型训练的中间模型文件及时传输到网络存储设备中,可以减少或避免数据因异常事件发生丢失的情况,提高了训练过程的鲁棒性。另外,本发明实施例还可以动态优化本地存储到网络存储以及网络存储到本地存储的数据传输速度,避免对模型训练以及其他节点造成过多的影响。
公开/授权文献
- CN112306623B 深度学习任务的处理方法、装置及计算机可读存储介质 公开/授权日:2024-08-02