天天看點

聯邦學習開源架構

來源:https://zhuanlan.zhihu.com/p/387101962

FATE

機關:微衆銀行

github: https://github.com/FederatedAI/FATE star:3.2k

docs:https://github.com/FederatedAI/FATE/blob/master/doc/develop_guide_zh.rst

概述:FATE (Federated AI Technology Enabler) 是微衆銀行AI部門發起的開源項目,為聯邦學習生态系統提供了可靠的安全計算架構。FATE項目使用多方安全計算 (MPC) 以及同态加密 (HE) 技術建構底層安全計算協定,以此支援不同種類的機器學習的安全計算,包括邏輯回歸、基于樹的算法、深度學習和遷移學習等。

功能:全面,同時覆寫橫向、縱向、遷移聯邦學習,包含聯邦學習的整體流程;實作了樣本安全比對,樣本切分(1.5版本),特征處理和篩選、LR/XGB/DNN等常用算法,模型評估與評分卡,模型預測(serving),聯邦推薦等。

易用:一般;雖然文檔很豐富,但是難抵配置多;cluster模式下配置很多,各種端口,;又因為期望相容多種後端存儲和計算,導緻依賴較多,系統整體比較重,前期部署較困難;而且python、java、scala等多種語言混合在同一項目,上手相對不容易,排查問題更是頭疼。不過,使用docker化部署會比本地化部署會更容易些。

PySyft

機關:OpenMind

github:https://github.com/OpenMined/PySyft star:7.3k

論文:https://arxiv.org/abs/1811.04017

概述:PySyft 在主要深度學習架構(如 PyTorch 和 TensorFlow)中使用聯邦學習、差分隐私和加密計算(如多方計算 (MPC) 和**同态加密 (HE))**将私有資料與模型訓練分離。

Rosetta

機關:LatticeX Foundation

概述:Rosetta 是一個基于TensorFlow開發的隐私計算架構,它将陸續內建密碼學、聯邦學習和可信執行環境等主流的隐私計算技術。Rosetta 旨在為人工智能快速提供隐私保護技術解決方案,不需要使用者掌握任何密碼學、聯邦學習和硬體安全執行環境領域的專業知識。Rosetta 在使用者接口層複用了 TensorFlow 的對外 API 進而使得使用者可以以最低的改造成本将隐私保護功能內建到現有的 TensorFlow 程式中。

github:https://github.com/LatticeX-Foundation/Rosetta star:331

架構:

聯邦學習開源架構

PaddleFL

機關:百度

概述:PaddleFL是一個基于PaddlePaddle的開源聯邦學習架構。研究人員可以很輕松地用PaddleFL複制和比較不同的聯邦學習算法。開發人員也可以從paddleFL中獲益,因為用PaddleFL在大規模分布式叢集中部署聯邦學習系統很容易。PaddleFL提供很多聯邦學習政策及其在計算機視覺、自然語言處理、推薦算法等領域的應用。此外,PaddleFL還将提供傳統機器學習訓練政策的應用,例如多任務學習、聯邦學習環境下的遷移學習。

github:https://github.com/PaddlePaddle/PaddleFL star:264

架構:

聯邦學習開源架構

FedLearner

機關:位元組跳動

github:https://github.com/bytedance/fedlearner star:613

概述:Fedlearner 是協作式機器學習架構,可以對機構之間分布的資料進行聯合模組化。

相關文章摘錄:

作為分布式的機器學習範式,聯邦學習能夠有效解決資料孤島問題,讓參與方在不共享資料的基礎上聯合模組化,挖掘資料價值。

據介紹,位元組跳動聯邦學習平台 Fedlearner 已經在電商、金融、教育等行業多個落地場景實際應用。位元組跳動聯邦學習技術負責人吳迪在接受 InfoQ 專訪時表示,聯邦學習面臨的困難更多是如何為客戶争取可感覺的最大商業價值,不同行業的夥伴,其産品特點和價值訴求各不相同。

得益于位元組跳動在推薦和廣告領域長期積累的機器學習模組化技術,位元組跳動聯邦學習找到了幫助企業客戶取得可感覺商業價值的方向,即基于位元組跳動的個性化推薦算法、模型優勢,探索、尋找落地場景。例如在電商廣告場景的落地案例中,Fedlearner 已經幫助合作方取得了 10% 以上的投放效率增長,跑量消耗提升 15%+,電商平台 ROI 提升 20%+。

架構:

聯邦學習開源架構
聯邦學習開源架構

TFF

機關:Google, Tensorflow官方

website:https://www.tensorflow.org/federated/tff_for_research

github:https://github.com/tensorflow/federated star:1.6k

概述:

聯邦學習開源架構

FedML

機關:USC

homepage:http://fedml.ai/

github:https://github.com/FedML-AI/FedML star:673

paper:https://arxiv.org/abs/2007.13518

概述:

聯邦學習是機器學習領域中一個快速發展的研究領域。盡管已經進行了大量的研究工作,但現有的庫無法充分支援多樣化的算法開發(例如,多樣化的拓撲和靈活的消息交換),并且實驗中不一緻的資料集和模型使用使得公平比較變得困難。在這項工作中,我們引入了 FedML,這是一個開放的研究庫和基準,可促進新的聯邦學習算法的開發和公平的性能比較。 FedML 支援三種計算範式(分布式訓練、移動端訓練和單機模拟),供使用者在不同系統環境下進行實驗。 FedML 還通過靈活和通用的 API 設計和參考基線實作促進了多樣化的算法研究。非 I.I.D 設定的策劃和綜合基準資料集旨在進行公平比較。我們相信 FedML 可以為聯邦學習研究社群提供一種高效且可重複的方法來開發和評估算法。我們在 https://FedML.ai 維護源代碼、文檔和使用者社群。

架構:

聯邦學習開源架構

Flower

機關:劍橋大學

github: https://github.com/adap/flower star: 422

paper:https://arxiv.org/abs/2007.14390

架構:

聯邦學習開源架構

繼續閱讀