2020年10月，阿裡雲正式開源了深度遷移學習架構EasyTransfer，這是業界首個面向NLP場景的深度遷移學習架構。開源連結：
https://github.com/alibaba/EasyTransfer目前集合該能力的AI體驗館已正式上線，免費體驗：
https://workbench.data.aliyun.com/experience.htm#/paiAbilityVenue/
使用者可以輕松點選，免費體驗包括NLP（文章分類、内容稽核）、圖像分類、語音識别、視訊分類、視訊精彩集錦自動生成等能力！
今天就帶大家走進AI體驗館背後，揭開NLP領先技術的神秘面紗。
EasyTransfer架構由阿裡雲機器學習PAI團隊研發，讓自然語言處理場景的模型預訓練和遷移學習開發與部署更加簡單和高效。
面向自然語言處理場景的深度遷移學習在現實場景裡有巨大的需求，因為大量新的領域不斷湧現，傳統的機器學習需要對每個領域都積累大量訓練資料，這将會耗費大量标注的人力與物力。深度遷移學習技術可以将源領域學到的知識遷移到新的領域的任務，進而大大減少标注的資源。
盡管面向自然語言場景的深度遷移學習有很多的需求，目前開源社群還沒有一個完善的架構，而且建構一個簡單易用且高性能的架構有巨大挑戰。
首先，預訓練模型加知識遷移現在是主流的NLP應用模式，通常預訓練模型尺寸越大學習到的知識表征越有效，然而超大的模型給架構的分布式架構帶來了巨大挑戰。如何提供一個高性能的分布式架構，進而有效支援超大規模的模型訓練。
其次，使用者應用場景的多樣性很高，單一的遷移學習算法無法适用，如何提供一個完備的遷移學習工具來提升下遊場景的效果。
第三，從算法開發到業務落地通常需要很長的鍊路，如何提供一個簡單易用的從模型訓練到部署的一站式服務。
面對這三大挑戰，PAI團隊推出了EasyTransfer，一個簡單易用且高性能的遷移學習架構。架構支援主流的遷移學習算法，支援自動混合精度、編譯優化和高效的分布式資料/模型并行政策，适用于工業級的分布式應用場景。
值得一提的是，配合混合精度、編譯優化和分布式政策，EasyTransfer支援的ALBERT模型比社群版的ALBERT在分布式訓練的運算速度上快4倍多。
同時，經過了阿裡内部10多個BU，20多個業務場景打磨，給NLP和遷移學習使用者提供了多種便利，包括業界領先的高性能預訓練工具鍊和預訓練ModelZoo，豐富易用的AppZoo，高效的遷移學習算法，以及全面相容阿裡巴巴PAI生态産品，給使用者提供一個從模型訓練到部署的一站式服務。
阿裡雲機器學習PAI團隊負責人林偉表示：本次開源EasyTransfer代碼，希望把阿裡能力賦能給更多的使用者，降低NLP的預訓練和知識遷移的門檻，同時也和更多夥伴一起深入合作打造一個簡單，易用，高性能的NLP和遷移學習工具。
EasyTransfer工具的架構總覽
EasyTransfer的整體架構如下圖所示，在設計上盡可能的簡化了深度遷移學習的算法開發難度。架構抽象了常用的IO，layers，losses，optimizers, models，使用者可以基于這些接口開發模型，也可以直接接入預訓練模型庫ModelZoo快速模組化。架構支援五種遷移學習(TL)範式，model finetuning，feature-based TL, instance-based TL, model-based TL和meta learning。同時，架構內建了AppZoo，支援主流的NLP應用，友善使用者搭建常用的NLP算法應用。最後，架構無縫相容PAI生态的産品，給使用者從訓練到部署帶來一站式的體驗。
業界領先的高性能預訓練工具鍊和預訓練ModelZoo
EasyTransfer架構支援工業級的分布式應用場景，改善了分布式優化器，配合自動混合精度，編譯優化，和高效的分布式資料/模型并行政策，做到比社群版的多機多卡分布式訓練在運算速度上快4倍多。基于這個高性能的分布式底座，架構推出完整的預訓練工具鍊，友善使用者預訓練語言模型如BERT和ALBERT。值得一提的是，基于該預訓練工具産出的模型在多個公開的榜單上取得好成績，比方說多輪對話榜單QuAC第一名（2019年10月），中文CLUE榜單取得第一名（2019年12月），和英文SuperGLUE榜單第二名。同時EasyTransfer內建了預訓練模型ModelZoo，支援BERT，ALBERT，XLNet等主流模型的Continual Pretrain和Finetune，也內建了在PAI平台上訓練的高品質預訓練模型和自研的電商場景多模态模型FashionBERT。
豐富易用的AppZoo & 知識蒸餾
EasyTransfer封裝了高度易用、靈活且學習成本低的AppZoo，支援使用者在僅用幾行指令的條件下“大規模”運作“前沿”的開源與自研算法，即可迅速接入不同場景和業務資料下的NLP應用，包括文本向量化、比對、分類、閱讀了解和序列标注等。并且內建了豐富知識蒸餾算法，使得使用者能從參數量大、推理速度慢的大模型中蒸餾出參數少、推理性能高的可上線的小模型。比方說，EasyTransfer內建了任務自适應蒸餾模型AdaBERT，從神經架構搜尋（NAS）這個全新的角度出發，搜尋出最适合目标任務的小模型架構，在6個NLP經典任務上，将BERT模型壓縮到原來的1/17~1/10，推理加速達到原先的12 ~ 29倍。同時該模型相應論文已被AI頂級會議 IJCAI 2020 所接收。
高效的遷移學習算法
EasyTransfer架構支援所有主流的遷移學習範式，包括Model Fine-tuning, Feature-based TL, Instance-based TL, Model-based TL和Meta Learning。基于這些遷移學習範式開發了10多種算法，在阿裡的業務實踐中取得了良好效果的效果。後續所有的算法都會開源到EasyTransfer代碼庫裡。在具體應用的時候，使用者可以根據下圖來選擇一種遷移學習範式來測試效果。
內建适應多任務的自研元學習算法
EasyTransfer架構內建了基于元學習（Meta Learning）的多任務學習算法，支援使用者在訓練特定任務的模型時利用其他任務的資料集進行學習增強。EasyTransfer內建了自研的元調優（Meta Fine-tuning）算法，借鑒元學習的思想，旨在學習預訓練語言模型跨領域的Meta-leaner，進而使得學習的Meta-leaner可以快速遷移到特定領域的任務上。該算法相應論文已被NLP頂級會議 EMNLP 2020 所接收。由于上述模型仍然具有參數量太大、推理速度慢的問題，EasyTransfer團隊進一步自研了元知識蒸餾算法，在蒸餾階段額外對Meta-leaner進行選擇性蒸餾，使得蒸餾得到的小模型在相應的領域的效果顯著提升，逼近原始模型的效果。相關的代碼和論文會在近期釋出。
全面相容阿裡巴巴PAI生态産品
EasyTransfer架構全面相容PAI-Tensorflow，使用者通過簡單的代碼或配置檔案修改，就可以使用PAI自研高效的分布式訓練，編譯優化等特性；同時架構完美相容PAI生态的産品，在PAI Web元件（PAI Studio），開發平台（PAI DSW），雲原生訓練平台（PAI DLC），和PAI Serving平台（PAI EAS）上均可直接使用。
應用落地和創新的算法解決方案。
EasyTransfer架構已在阿裡集團内數十個NLP場景落地，包括智能客服、搜尋推薦、安全風控、大文娛等，帶來了顯著業務效果的提升。目前EasyTransfer日常服務有上億次調用，月均訓練調用量超過5萬次。EasyTransfer團隊在落地業務的同時也沉澱了很多的創新的算法解決方案，包括元學習，多模态預訓練，強化遷移學習，特征遷移學習等方向的工作，共合作發表了幾十篇頂級會議文章，下面列舉一些代表性工作。這些算法一部分已經開源，其他部分會在EasyTransfer架構裡陸續開源供廣大使用者使用。
[EMNLP 2020]. Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining. 2020.
[SIGIR2020] FashionBERT: Text and Image Matching for Fashion Domain with Adaptive Loss. 2020.
[IJCAI 2020] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search. 2020.
[KDD 2019]. A Minimax Game for Instance based Selective Transfer Learning. 2019.
[CIKM 2019]. Cross-domain Attention Network with Wasserstein Regularizers for E-commerce Search, 2019.
[WWW 2019]. Multi-Domain Gated CNN for Review Helpfulness Prediction, 2019.
[WSDM 2019]. Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching. 2019.
[WSDM 2018]. Modeling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce. 2018.
[ACL 2018]. Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce. 2018.
[ICDM 2017]. A Short-Term Rainfall Prediction Model using Multi-Task Convolutional Neural Networks. 2017.
作者：岑鳴/葡萄