公开(公告)号：CN119558371A

公开(公告)日：2025-03-04

申请号：CN202411501855.2

申请日：2024-10-25

Applicant: 北京大学

Inventor： 崔斌 ,  葛浩 ,  符芳诚 ,  李昊洋 ,  王煊宇 ,  林晟 ,  赵通

IPC: G06N3/08 ,  G06N3/063 ,  G06N3/0455 ,  G06F9/50

Abstract: 本发明公开一种支持并行热切换的大模型训练方法及系统，属于大模型训练技术领域。所述方法包括：生成一逻辑计算图，所述逻辑计算图用于表示多组不同的并行策略组合；编译所述逻辑计算图，生成多个可执行计算图；其中，每一个可执行计算图对应一组并行策略组合；在多个可执行计算图中选取用于初始化大模型状态的初始化图，并根据任两组并行策略组合之间热切换代价，编排可执行计算图之间的执行顺序；基于所述初始化图以及可执行计算图之间的执行顺序进行大模型的训练。本发明不仅可以保证每个分组内的序列计算量/工作负载大致接近，还可以使得并行策略能够在模型训练过程中动态地切换，并正常完成模型的梯度累积和更新。

公开(公告)号：CN114418095A

公开(公告)日：2022-04-29

申请号：CN202210071149.3

申请日：2022-01-21

Applicant: 腾讯科技(深圳)有限公司 ,  北京大学

Inventor： 符芳诚 ,  蒋杰 ,  刘煜宏 ,  陈鹏 ,  陶阳宇 ,  薛焕然 ,  崔斌

IPC: G06N3/08 ,  G06N3/04 ,  G06F17/16

Abstract: 本申请实施例提供了一种联邦神经网络的训练方法、装置、电子设备及计算机可读存储介质，涉及人工智能领域。该方法包括：确定顶层模型输出的批量的第一参与方数据的反向偏导，根据正样本和负样本的反向偏导的分布情况以及扰动程度确定噪声数据的分布范围；针对每个反向偏导从分布范围中随机采样噪声数据，对反向偏导添加噪声数据，获得扰动后的反向偏导；将扰动后的反向偏导输入底层模型，以使得底层模型根据扰动后的反向偏导更新底层模型的参数。本申请实施例不需要像现有技术进行迭代或长时间的复杂计算，相对于相关技术效率更高，当效率提高后，可提供更低的最大可接受距离指标，从而提高对标签的保护能力。

公开(公告)号：CN111695629A

公开(公告)日：2020-09-22

申请号：CN202010530924.8

申请日：2020-06-11

Applicant: 腾讯科技(深圳)有限公司 ,  北京大学

Inventor： 符芳诚 ,  余乐乐 ,  陶阳宇 ,  崔斌

IPC: G06K9/62

Abstract: 本申请实施例公开了一种用户特征获取方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：调用第一特征提取模型，对已存储的目标用户标识的第一用户信息进行特征提取，得到第一用户特征，接收第一设备发送的第二用户特征，根据第一用户特征及第二用户特征，获取目标用户标识的第一组合用户特征。由第一设备为本端的第二设备提供第一设备提取得到的用户特征，而无需提供第一设备存储的原用户信息，避免了用户信息的泄露。且第二设备将第二设备和第一设备提取得到的用户特征进行组合得到组合特征，由于该组合特征包括第二设备和第一设备存储的用户信息中的特征，丰富了用户特征的信息量，提高了组合用户特征的准确性。

公开(公告)号：CN119576488A

公开(公告)日：2025-03-07

申请号：CN202411520260.1

申请日：2024-10-29

Applicant: 北京大学

Inventor： 崔斌 ,  夏义扉 ,  符芳诚 ,  赵通

IPC: G06F9/48 ,  G06F9/54

Abstract: 本发明公开了一种基于量化的多任务大语言模型服务系统。本系统包括动态多任务量化模块和多任务请求调度模块；其中动态多任务量化模块用来对部署的模型进行初始多任务联合量化并部署，当后续有新任务需要被引入时，该模块也负责对模型进行重量化；请求池用来缓存各种客户端发来的请求，并交予后续的多任务请求调度模块；多任务请求调度模块对多任务的请求进行调度编排；每当多任务请求调度模块给出一组输入，与现有服务系统类似，将该输入送入推理流程进行处理，获得对应输出的预测值并解码，解码得到的词元则会被流式输出、并被返回给调度模块，等待进行下一轮调度。本发明具有更高的可用性、更好的可扩展性和更优秀的用户体验。

公开(公告)号：CN117910592A

公开(公告)日：2024-04-19

申请号：CN202311714535.0

申请日：2023-12-13

Applicant: 北京大学

Inventor： 崔斌 ,  符芳诚 ,  王煊宇

IPC: G06N20/00 ,  G06N3/084 ,  G06N3/04

Abstract: 本发明公开一种数据隐私保护的纵向联邦学习方法、装置及系统，该方法包括：纵向联邦学习的前向传播、训练顶层模型以生成反向偏导、对反向偏导进行扰动和基于扰动后反向偏导完成底层模型的反向传播四个阶段，其中，对反向偏导进行扰动的阶段又包括了分布建模、计算扰动和添加扰动。本发明有效解决现有纵向联邦神经网络模型训练中标签保护方案所存在的问题。

公开(公告)号：CN114492850A

公开(公告)日：2022-05-13

申请号：CN202210093687.2

申请日：2022-01-26

Applicant: 深圳市腾讯计算机系统有限公司 ,  北京大学

Inventor： 符芳诚 ,  蒋杰 ,  刘煜宏 ,  陈鹏 ,  陶阳宇 ,  程勇 ,  崔斌

IPC: G06N20/20 ,  H04L9/00 ,  H04L9/40

Abstract: 本申请实施例公开了一种基于联邦学习的模型训练方法、设备、介质及程序产品，属于联邦学习领域。该方法包括：第一参与方基于第一模型权重、第二模型权重密文以及第一训练样本进行前向计算，生成第一梯度乘子算子；向第二参与方发送第一梯度乘子算子；第二参与方基于第三模型权重、第四模型权重密文以及第二训练样本进行前向计算，生成第二梯度乘子算子；第二参与方基于样本标签、第一梯度乘子算子以及第二梯度乘子算子生成梯度乘子；向第一参与方发送梯度乘子密文；第二参与方基于梯度乘子进行反向计算，更新第三模型权重；第一参与方基于梯度乘子密文进行反向计算，更新第二模型权重密文。能够提高模型训练的安全性，避免数据泄露。

公开(公告)号：CN114386583A

公开(公告)日：2022-04-22

申请号：CN202210293677.3

申请日：2022-03-24

Applicant: 北京大学

Inventor： 符芳诚 ,  崔斌

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公布了一种用于保护标签信息的纵向联邦神经网络模型学习方法，对纵向联邦神经网络模型的反向偏导进行多元高斯分布建模；根据用户提供的最大可接受的距离指标，计算得到满足该距离指标的对纵向联邦神经网络模型精度影响最小的扰动，以及对应的扰动噪声；并将扰动噪声添加至参与方的反向偏导，得到扰动后的结果，由此提高纵向联邦神经网络模型训练用于保护标签信息的隐私性和可用性。