公开(公告)号：CN111967590A

公开(公告)日：2020-11-20

申请号：CN202011142652.0

申请日：2020-10-23

Applicant: 之江实验室

Inventor： 何水兵 ,  黄一智 ,  刘彦 ,  银燕龙 ,  杨弢

IPC: G06N3/063 ,  G06F9/38 ,  G06F9/50 ,  G06F17/16 ,  G06Q30/06

Abstract: 本发明公开了面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。异构系统的数据采用一级分配，内部共享同一数据锁，当XPU规模变大时，锁开销加剧影响系统性能，利用XPU工作器的异步SGD优化器，使得XPU工作器之间相互无锁，XPU工作器内部独立进行数据分块和调度。

公开(公告)号：CN111967590B

公开(公告)日：2021-02-02

申请号：CN202011142652.0

申请日：2020-10-23

Applicant: 之江实验室

Inventor： 何水兵 ,  黄一智 ,  刘彦 ,  银燕龙 ,  杨弢

IPC: G06N3/063 ,  G06F9/38 ,  G06F9/50 ,  G06F17/16 ,  G06Q30/06

Abstract: 本发明公开了面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。异构系统的数据采用一级分配，内部共享同一数据锁，当XPU规模变大时，锁开销加剧影响系统性能，利用XPU工作器的异步SGD优化器，使得XPU工作器之间相互无锁，XPU工作器内部独立进行数据分块和调度。