隐私計算研習社
摘要
本文介紹Timothy Stevens等2022年發表在USENIX Security Symposium中的文章“Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors”。
聯邦學習利用邊緣計算從使用者資料中訓練模型，此過程中使用者的隐私易洩露仍然是一大主要挑戰。使用差分隐私技術可在一定程度保護使用者資料隐私，然而早期大部分技術需要可信第三方的參與，否則會因增加太多噪聲而導緻生成的模型可用性較低。最近的安全聚合技術使用多方安全計算（MPC）技術消除了需要第三方的需求，但随着使用者規模的擴大，方案的計算效率不夠理想。本文基于Learning With Errors（LWE）技術實作了新型高效且滿足差分隐私的安全聚合協定。實驗結果表明與現存具有差分隐私的聯邦學習安全聚合方案相比，本文安全聚合協定在不損失模型精度的前提下，性能優于目前大部分技術。
論文名稱：Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors
論文連結：https://www.usenix.org/conference/usenixsecurity22/presentation/stevens
1
方法
将安全聚合與差分隐私相結合，可以確定聯邦學習中端到端的隐私。如圖1所示，安全聚合允許系統中心合并所有使用者的更新，而不會洩露任何單一使用者的更新。基于差分隐私的方法為每個使用者的更新添加噪聲，以確定訓練過的模型不會暴露使用者資料的資訊。
圖1 安全聚合與差分隐私
為減少使用MPC求和時向量的次元，本文所用的LWE技術如圖2所示，敵手已知 計算出滿足等式的 是困難的。
圖2 LWE困難問題
如圖2中的LWE執行個體所示，通常的次元高于的次元。但現有大部分方案中均使用作為用戶端資料的掩碼，并且在抵消掩碼時也需要完成對的聚合。本文在保證安全性的同時實作通信開銷降低的原因是：方案使用作為用戶端隐私資料的掩碼的前提下，隻需完成的聚合就可消除掩碼。與現有大部分方案相比用戶端實際需要互動的資料次元有所降低，進而有效降低了通信開銷。此外，本文方案安全性正是基于LWE困難問題。
圖3 本文技術核心
本文方案使用的流程如圖4所示，具體包含如下三個步驟:
第一步：
每個Client在本地生成LWE困難問題 ，并将得到的 與其持有的秘密值 （通常為梯度）進行添加掩碼的操作得到 ，然後将 發送給Data Curator。
第二步：
Client通過MPC協定，得到所有 的和 并發送給Data Curator。
第三步：
Data Curator可以将收到的所有進行 聚合得到 ，由于 是系統中的公開參數，是以可計算得 ，最終可計算得到所有Client秘密持有的 與秘密值 之和 為 。
圖4 系統流程
是以，本文方案最終得到的值中包含了每個Client生成LWE困難問題中的error之和，該值滿足差分隐私，如圖5所示。
圖5 聚合噪聲
2
具體算法
本文提出的Masking Aggregation算法如圖6所示。
上述算法中的 算法，如圖7所示。
3
實驗結果
最後，本文分别使用MNIST和CIFAR-10資料集對方案的通信開銷和模型訓練準确性進行了大量實驗，實驗結果如圖8所示。可見本文方案在不損失訓練模型準确性的前提下，通信開銷有了明顯的降低。
對聯邦學習安全聚合方法感興趣的小夥伴，可以點選進一步了解！
本文參考：Crypto Lab
分享僅供學習參考，若有不當，請聯系我們處理。
END
往期推薦
1.筆記分享 | 組隊學習密碼學（2）——密碼學在聯邦學習中的應用
2.密碼學中的模乘算法——巴雷特模乘(Barrett Modular Multiplication)
3.pFedPT：将prompt學習融入進聯邦學習
4.密碼學中的模乘算法——蒙哥馬利模乘（Montgomery Modular Multiplication）