公开(公告)号：CN117332838A

公开(公告)日：2024-01-02

申请号：CN202311299871.3

申请日：2023-10-09

Applicant: 哈尔滨工业大学

Inventor： 郝萌 ,  何慧 ,  王临轩 ,  张伟哲 ,  杨洪伟

IPC: G06N3/08 ,  G06N3/063 ,  G06N3/0464

Abstract: 一种基于GPU的高性能多方安全计算训练方法及系统，涉及具体涉及多方安全计算协议领域。本发明的目的是给出一种并行程度更高的的多方安全计算训练框架，以实现通过结合数据并行与模型并行的方式来实现神经网络不同层之间的并行，来提高训练过程的数据吞吐速度。本发明方法是一种基于管道流水线训练方法的多方安全计算训练系统，如图1所示，该方法针对MPC模型训练过程中线性计算网络层与非线性计算网络层的瓶颈分别为计算与通信这一特性，设计了管道流水线训练方法，实现子网络间的并行，并实现了最优子网络分割算法以均衡每个子网络之间的训练负载。本发明给出一种并行程度更高的的多方安全计算训练框架，通过结合数据并行与模型并行的方式来实现神经网络不同层之间的并行，大大提高训练过程的数据吞吐速度。