-
公开(公告)号:CN117581244A
公开(公告)日:2024-02-20
申请号:CN202180097290.4
申请日:2021-04-19
Applicant: 微软技术许可有限责任公司
IPC: G06N20/00
Abstract: 在本公开的实施例中,提供了一种用于利用逐区块模型更新滤波并行化基于矩的优化的方案。主节点向多个工作节点提供针对训练周期s的全局模型参数和全局矩参数,并从工作节点接收由工作节点执行并行的基于矩的优化生成的多个局部模型参数和多个局部矩参数。全局模型参数和全局矩参数基于相应的接收到的局部参数和针对训练周期的模型更新信息来更新。更新的全局模型参数和更新的全局矩参数随后被提供给工作节点,用于针对随后的训练周期并行执行基于矩的优化。本公开的实施例可以实现训练过程的更好和更快的收敛。