一种面向自然语言处理的隐私保护联邦学习方法

    公开(公告)号:CN119316195A

    公开(公告)日:2025-01-14

    申请号:CN202411351334.3

    申请日:2024-09-26

    Abstract: 本发明公开了一种面向自然语言处理的隐私保护联邦学习方法,包括三层网络结构,各客户端将自己的梯度进行压缩,并上传压缩后的梯度到对应的边缘服务器层;各边缘服务器聚合其通信范围内的客户端接上传的压缩梯度,并将聚合后的压缩梯度发送至云服务器层;云服务器层将接收到的各边缘服务器发送的压缩梯度进行再次聚合,之后对二次聚合后的梯度进行解压缩;并在客户端上对梯度进行观测和压缩,减少了梯度泄露的可能;基于压缩感知的梯度扰动进一步使攻击者难以从嵌入层重建出相关词语,有效防止原始文本序列被重建,有效地保护客户端隐私,同时降低通信开销,并且对模型的性能仅产生轻微影响。

Patent Agency Ranking