一种数据管理方法及装置
摘要:
本申请适用于数据处理技术领域,提供了一种数据处理方法及装置,方法包括:获取创建训练任务的请求,根据请求创建训练任务,并将训练任务的节点分配至任一数据存储管道,并在接收到运行训练任务的请求时,获取客户端的工作状态,若任一客户端的工作状态为空闲状态,则将数据存储管道中存储的训练任务中任一任务状态为待处理状态的节点分配至工作状态为空闲状态的客户端,然后控制工作状态为空闲状态的客户端执行待处理状态的节点的任务,获得训练任务的训练结果。本申请通过将训练任务分配在数据存储管道上,并动态的调用空闲状态的客户端执行任一节点的任务,实现了在训练过程中任意切换节点,减小了客户端的数据处理量,提高了模型训练的效率。
公开/授权文献
0/0