发明授权
- 专利标题: 一种数据管理方法及装置
-
申请号: CN201911296537.6申请日: 2019-12-16
-
公开(公告)号: CN112988339B公开(公告)日: 2024-06-07
- 发明人: 王肖
- 申请人: 深圳云天励飞技术有限公司
- 申请人地址: 广东省深圳市龙岗区横岗街道龙岗大道8288号深圳大运软件小镇17栋1楼
- 专利权人: 深圳云天励飞技术有限公司
- 当前专利权人: 深圳云天励飞技术有限公司
- 当前专利权人地址: 广东省深圳市龙岗区横岗街道龙岗大道8288号深圳大运软件小镇17栋1楼
- 代理机构: 深圳中一联合知识产权代理有限公司
- 代理商 左婷兰
- 主分类号: G06F9/48
- IPC分类号: G06F9/48
摘要:
本申请适用于数据处理技术领域,提供了一种数据处理方法及装置,方法包括:获取创建训练任务的请求,根据请求创建训练任务,并将训练任务的节点分配至任一数据存储管道,并在接收到运行训练任务的请求时,获取客户端的工作状态,若任一客户端的工作状态为空闲状态,则将数据存储管道中存储的训练任务中任一任务状态为待处理状态的节点分配至工作状态为空闲状态的客户端,然后控制工作状态为空闲状态的客户端执行待处理状态的节点的任务,获得训练任务的训练结果。本申请通过将训练任务分配在数据存储管道上,并动态的调用空闲状态的客户端执行任一节点的任务,实现了在训练过程中任意切换节点,减小了客户端的数据处理量,提高了模型训练的效率。
公开/授权文献
- CN112988339A 一种数据管理方法及装置 公开/授权日:2021-06-18