公开(公告)号：CN117892840A

公开(公告)日：2024-04-16

申请号：CN202410064364.X

申请日：2024-01-16

Applicant: 湖南大学

Inventor： 肖雄 ,  唐卓 ,  李肯立 ,  张嘉鹏 ,  陈长建 ,  宋莹洁 ,  蒋冰婷 ,  谭嘉蔚 ,  纵瑞星

IPC: G06N20/00 ,  G06N3/0464

Abstract: 本发明公开了一种用于联邦学习算力网络的合谋攻击溯源方法，包括：服务端将初始卷积神经网络CNN模型发送到计算环境中的每个客户端，其中发给第i个客户端的CNN模型的损失函数中嵌入了与该第i个客户端对应的指纹向量，服务端接收来自每个客户端的CNN模型，并对来自每个客户端的CNN模型进行解析，以获取该CNN模型对应的损失函数，并从该损失函数中提取当前指纹向量，并根据所有客户端对应的当前指纹向量构建指纹向量矩阵a’，服务端根据指纹向量矩阵a’进行更新处理，以得到更新后的指纹向量矩阵a”，服务端根据更新后的指纹向量矩阵a”确定执行攻击的客户端。本发明能够解决现有恶意攻击检测方法通信开销大、算力成本高的技术问题。

公开(公告)号：CN115859117A

公开(公告)日：2023-03-28

申请号：CN202211656348.7

申请日：2022-12-22

Applicant: 湖南大学

Inventor： 唐卓 ,  宋莹洁 ,  李肯立 ,  肖雄 ,  纵瑞星 ,  阳王东 ,  周旭 ,  刘楚波

IPC: G06F18/214 ,  G06F18/241 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种改进深度学习模型分布式数据并行训练效率的方法，首先，在预训练阶段，判断深度学习模型的所有层中哪些相邻层一起执行梯度通信能够使迭代时间最短，以得到梯度合并策略；其次，在正式训练的参数同步阶段，所有节点按照梯度合并策略执行分组式的梯度通信。本发明能够解决现有基于通信计算重叠和梯度合并的分布式深度学习分布式数据并行训练中存在的训练效率低的问题，使得每次迭代训练的用时更短，分布式深度学习更加高效。