利用逐区块模型更新滤波并行化基于矩的优化

    公开(公告)号:CN117581244A

    公开(公告)日:2024-02-20

    申请号:CN202180097290.4

    申请日:2021-04-19

    Inventor: 陈凯 霍强 丁海松

    Abstract: 在本公开的实施例中,提供了一种用于利用逐区块模型更新滤波并行化基于矩的优化的方案。主节点向多个工作节点提供针对训练周期s的全局模型参数和全局矩参数,并从工作节点接收由工作节点执行并行的基于矩的优化生成的多个局部模型参数和多个局部矩参数。全局模型参数和全局矩参数基于相应的接收到的局部参数和针对训练周期的模型更新信息来更新。更新的全局模型参数和更新的全局矩参数随后被提供给工作节点,用于针对随后的训练周期并行执行基于矩的优化。本公开的实施例可以实现训练过程的更好和更快的收敛。

    用于训练学习机的方法和装置

    公开(公告)号:CN108431794B

    公开(公告)日:2022-06-21

    申请号:CN201680076481.1

    申请日:2016-03-18

    Inventor: 陈凯 霍强

    Abstract: 本公开涉及用于训练学习机的方法和装置,其中,所述装置包括:广播模块,用于向多个工作节点广播针对一训练周期的初始全局模型;接收模块,用于从所述多个工作节点接收多个更新的局部模型,其中每一个更新的局部模型是由所述多个工作节点中的一个工作节点基于被分配给该工作节点的数据片和针对所述训练周期的所述初始全局模型独立地生成的;聚合模块,用于聚合所述多个更新的局部模型以获取聚合模型;以及,生成模块,用于至少基于所述聚合模型和从在前的训练周期获取的历史信息来生成针对所述训练周期的更新的全局模型。

    用于训练学习机的方法和装置

    公开(公告)号:CN108431794A

    公开(公告)日:2018-08-21

    申请号:CN201680076481.1

    申请日:2016-03-18

    Inventor: 陈凯 霍强

    CPC classification number: G06F15/18 G06N99/005

    Abstract: 本公开涉及用于训练学习机的方法和装置,其中,所述装置包括:广播模块,用于向多个工作节点广播针对一训练周期的初始全局模型;接收模块,用于从所述多个工作节点接收多个更新的局部模型,其中每一个更新的局部模型是由所述多个工作节点中的一个工作节点基于被分配给该工作节点的数据片和针对所述训练周期的所述初始全局模型独立地生成的;聚合模块,用于聚合所述多个更新的局部模型以获取聚合模型;以及,生成模块,用于至少基于所述聚合模型和从在前的训练周期获取的历史信息来生成针对所述训练周期的更新的全局模型。

Patent Agency Ranking