公开(公告)号：CN116628509B

公开(公告)日：2023-12-01

申请号：CN202310900540.4

申请日：2023-07-21

申请人： 科大讯飞股份有限公司

发明人： 潘青华 ,  张海俊 ,  董雪振 ,  胡文龙 ,  汪锦想 ,  于振华 ,  胡国平 ,  刘聪 ,  魏思 ,  王士进 ,  刘权

IPC分类号： G06F18/214

摘要： 本申请公开了一种模型训练方法、装置、设备及存储介质，方法包括：当确定需要添加新增训练数据时，基于预先构建的batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，避免重复读取已使用的batch迭代训练模型，其中batch列表中按照训练时的读取顺序记录各batch的标识。对于新增训练数据构建成若干batch，将对新增训练数据所构建的各batch与剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练，可以最大程度地保持训练数据的分布一致性，提升模型的泛化能力。

公开(公告)号：CN116628509A

公开(公告)日：2023-08-22

申请号：CN202310900540.4

申请日：2023-07-21

申请人： 科大讯飞股份有限公司

发明人： 潘青华 ,  张海俊 ,  董雪振 ,  胡文龙 ,  汪锦想 ,  于振华 ,  胡国平 ,  刘聪 ,  魏思 ,  王士进 ,  刘权

IPC分类号： G06F18/214

摘要： 本申请公开了一种模型训练方法、装置、设备及存储介质，方法包括：当确定需要添加新增训练数据时，基于预先构建的batch列表，过滤掉已经训练使用过的batch，得到剩余各batch，避免重复读取已使用的batch迭代训练模型，其中batch列表中按照训练时的读取顺序记录各batch的标识。对于新增训练数据构建成若干batch，将对新增训练数据所构建的各batch与剩余各batch进行随机顺序打乱，并将打乱后的各batch的标识顺序的记录在batch列表中，以便后续按照batch列表顺序读取各标识对应的batch数据，进行在线模型训练，可以最大程度地保持训练数据的分布一致性，提升模型的泛化能力。