摘要：通過對ModelArts、盤古大模型、ModelBox産品技術的解讀，幫助開發者更好的了解AI開發生産線。
本文分享自華為雲社群《【大廠内參】第16期：華為雲AI開發生産線，破解AI全流程開發難題》，作者：華為雲社群精選 。
近日，華為雲對AI開發生産線進行服務更新，幫助各行各業的軟體開發更簡單快速地完成SaaS化，在雲上創造更大價值。
AI開發生産線，通過ModelArts和AI Gallery, 支援AI開發運維的DevOps全流程。通過預內建盤古大模型和豐富的AI資産，讓開發者實作從資料标注、資料處理、模型訓練、到部署上線、模型調優等環節全流水線自動銜接，大幅提升效率。
1.基于行業算法套件的ModelArts雲原生AI開發最佳實踐
在AI開發的探索階段，選擇合适的環境、便利的工具、按需的算力、一鍵可運作的算法資源是我們最重要的因素。
- 在環境和算力方面，使用ModelArts提供雲化Notebook，配合彈性按需算力資源能力，可以快速地讓我們拿到一個帶AI計算資源的環境。
- 在算法方面，面向特定領域問題的算法解法集合、AI算法套件，可以讓我們快速的在算法間切換，找到合适的并且具備實際應用的自研及開源算法，通過訂閱和選擇的方式，可以在ModelArts上一鍵式的運作。
- 在工具方面，我們基于雲化的Notebook提供了參數化的開發模式，讓你的探索變得更便捷高效。
1.1選擇合适的AI開發套件，讓你的開發事半功倍
1.1.1雲原生Notebook
華為雲會選擇Notebook作為線上AI開發與探索的首選工具，其優勢在于可貫穿整個AI開發探索生命周期，從資料的處理到模型的開發以及驗證和調測，都是能夠全部覆寫的。
Notebook可提供互動式的程式設計體驗，探索過程中的可視化要求，可以快速地進行結果的分享與重制。如上圖“Kaggle在2021年機器學習開發者調研資料”所示，可以看到在IDE的流行度裡面，Notebook占據很重要的位置。
縱觀整體業界趨勢，各個雲化AI開發廠商還是以JupyterLab底座+插件的方式演進，主打資源免費、協作、社交化。ModelArts雲化Notebook也是基于此趨勢進行演進，并且提供豐富的差異化場景能力。資源切換、CodeLab、雲上雲下插件等，貼近使用者使用習慣，提升AI開發效率。
1.1.2算法開發套件
我們知道，在AI的算法方面，需要去尋找比對我們業務場景的合适算法，并且需要進行環境和算法之間的适配開發，以及算法相關參數的調優。
ModelArts提供的算法套件是面向一類算法問題解的集合，是針對特定的行業、領域預訓練模型、算法實作及資料集。以簡單易用為基礎正對雲邊端場景的不同需求，提供相應的内容支援。
目前，華為雲AI算法套件是通過自研+社群兩個方面，確定算法的豐富度。
- 自研方面，結合豐富的真實AI開發經驗，提供領域預訓練模型、算法實作及資料集。目前已經在圖像分類、目标檢測、視覺分類、姿态預估等多個領域提供相關的内容，并且後續會持續豐富。使用者可以在AI Gallery上一鍵訂閱，在ModelArts上一鍵運作，提升使用者的AI開發和探索效率。
- 社群方面，對于社群的主流算法套件完成了非侵入式的适配，例如MMDetection、MMOCR、MMSegmentation等算法套件，可以像加載自研算法套件一樣，在ModelArts中快速加載一鍵運作。
1.1.3算法調優
有了工具和算法，接下來就是算法開發的探索和調優。華為雲基于ModelArts提供的基于Notebook的參數化、圖形化、互動式的能力加速開發過程，幫助開發者在資料處理、模型調優以及模型預測方面進行可視化的操作，低門檻完成多種場景的AI算法開發與應用，配套提供的算法套件可以更加高效進行AI開發。
上圖是Notebook的Excel，使用者可以進行參數化的定義資料處理過程和訓練過程，可以圖形化檢視訓練結果，有表格，而不是之前的大篇幅的日志，還可以進行互動式的進行結果調測。不僅如此，Notebook還提供了豐富的基礎元件群組件定義能力，使用者可以根據自己的使用需求和習慣定義個性化的插件。
在開發的資源和算力方面，ModelArts雲原生AI開發資源與算力建構在開放的華為雲雲原生平台之上，基于底層應用、開放自主的相關基礎雲原生能力，友善開發者按需，低成本，靈活擷取到可用的資源和算力。
1.2标準化的開發工具，雲上雲下協同
從前面的介紹大家可以了解到，對于華為雲AI開發工程師，在AI開發的實驗原型和探索階段是基于ModelArts提供的serverless化的Notebook的互動式參數化能力，配合彈性按需算力、資源和環境，以及豐富的算法套件，幫助我們加速實驗原型的探索及開發。
面對具體AI團隊開發及應用落地時，需要涉及多人和多階段配合完成從資料處理、算法開發和調優，到模型訓練、推理開發及測試，并且在後續運作中涉及反複的疊代，怎麼樣可以高效地完成這項工作。
借鑒傳統軟體開發經驗和實踐，華為雲通過工程化的AI開發模式，從工具到開發标準，再到代碼化工程管理能力，助力開發團隊協同完成AI開發及應用落地。
在工具方面，為了更加比對通用的IDE工具使用習慣，使用ModelArts提供VSCode\PyCharm插件，就可以在自己的本地VSCode\PyCharm上進行代碼開發，使用插件遠端連接配接雲上資源進行遠端開發調測，并且可以調用模型訓練、模型部署等能力。
通過定義AI工程架構，來讓AI開發标準化，這個标準化的工程架構是實踐的總結和積累。使用ModelArts提供的标準化AI開發工程模闆在模闆中對于資料、算法、推理等各個環節的結構進行定義，并且還提供了CLI工程腳手架，通過代碼與指令的方式與平台功能相結合，全流程完成工程化的AI開發。使用者可以基于我們提供的工程結構定義，分工協同，完成不同内容的開發。
上圖為ModelArts提供的标準化工程結構，可以通過代碼化方式完成AI過程、步驟、行為、資源等定義，并且通過代碼倉統一管理。例如：使用者可以定義workflow、鏡像、訓練、作業、應用部署等，并且配合統一的資産管理進行工程化的AI開發。
前面介紹了雲上開發工具的能力，雲上的IDE與傳統的IDE在能力上還是存在差距的，是以為了更加比對開發者通用IDE工具的使用習慣，ModelArts使用了基于VSCode\PyCharm+ModelArts插件，滿足本地化開發及調測訴求。面對稀缺的GPU資源的訴求，通過遠端連接配接雲上資源的能力，打造本地開發遠端資源按需使用的能力，插件提供一鍵式的安裝配置等能力，友善我們開發者的使用。
後續ModelArts也會提供更加沉浸式的AI開發能力，包含AI計算資源、雲上存儲預置AI鏡像，讓使用者體驗到雲上資源便利的同時，也帶來本地開發的順暢感。在遠端插件上，可以調用雲上的開發、資料、訓練、推理等能力，以及提供的工程相關的所有AI開發能力，真正滿足一個團隊不同使用者的訴求。
1.3AI Gallery建構豐富活躍的AI生态
在正式的AI開發項目中，我們會面臨更多的困難和問題。AI Gallery是在ModelArts的基礎上建構了開發者生态社群，豐富及活躍的生态是AI開發的基礎和推動力。
在AI Gallery中，不僅提供了Notebook代碼樣例、資料集、算法套件、模型等AI數字資産；而且還有學習、實踐、交流等闆塊，友善不同訴求的使用者交流。并且在資産方面提供分享和訂閱能力，友善AI資産持續更新和疊代。我們希望開發者沉澱更多的資産，幫助更多的AI開發者，提升大家的開發效率，加速AI産業的發展。
傳統軟體開發完成後就是傳遞運維，AI的軟體開發傳遞後不僅僅是傳遞運維，還有面臨持續的資料更新、模型疊代、難例挖掘，這些流程應該是标準化可信的，并且與開發流程解偶，是以ModelArts提供了工作流的能力。
工作流是基于實際業務場景開發的，用于部署AI應用流水線工具，把已經完成好的AI開發業務場景，通過ModelArts Python SDK進行編排和開發，将資料處理、模型訓練、模型部署等能力進行編碼，然後把流水線釋出給業務應用人員。對于應用者來說不一定需要了解整個開發實作細節，他們隻需要了解流水線的機制，以及需要存在變化的内容即可。例如：資料的增強、更新或者模型的參數變化，就可以友善地進行模型疊代、上線，這樣讓開發和運作分離，提高後續業務疊代的效率。
綜上我們可以看出，ModelArts 緻力打造一站式的AI開發平台，讓AI開發變得簡單、高效。華為雲從AI開發全流程出發，在分析設計算法模型探索和實驗模型內建與開發以及AI應用運維上提供高效、便捷的能力，并且結合華為雲豐富的實踐經驗，沉澱更多的标準化AI開發流水線，為AI開發者提供更多更好的服務。
2.華為雲盤古大模型，開啟AI工業化開發
2025年，企業對AI的采用率将達到86%。是以，AI走進企業的生産核心系統創造更大價值是大勢所趨。但與之相對的是，封閉的作坊式AI開發已經無法滿足行業高效、高品質的數字化轉型需求。
因為當企業有了AI需求以後，就需要獨立的建立一個場景。在這個場景中，企業要投入專家和開發人員，來針對這個場景去進行專門的研發。這會導緻AI應用的開發效率低下，并且它的開發經驗，包括産生的一些資産也是無法得到有效積累。針對這樣的情況，華為提出了盤古大模型。
2.1什麼是華為盤古大模型
華為雲盤古大模型，是把海量的資料知識存儲在超大型的神經網絡中，針對定制化的需求，隻需要将這些需求固化成一些流水線。在這個過程中，由于不同的流水線之間大部分的流程都是一樣的，僅僅隻有小部分的操作或者場景專有的知識是有所不同的，是以就可以把這些知識或者操作像搭積木一樣，放在在這個流水線上面進行開發。這樣的開發模式比起作坊式的開發模式，就會更加的節省時間和人力。
在實際測試當中，盤古大模型進入企業生産系統以後，效率提升是非常明顯的。原來需要十個人所做的事情，現在隻要一個人就可以把它做完，效率的提升達到十倍以上。
2.2五大盤古大模型應用在千行百業
為了更好地針對不同領域方面，在盤古大模型中，有視覺、NLP(自然語言處理)、多模态、Graph和科學計算等五個領域的大模型。在不同的行業。場景下，如金融風控、工業質檢、時尚設計、案件稽核和智慧育種等場景下，設定場景化模型。這些場景化模型都可以适配盤古大模型，最後應用在不同的行業案例中，如違規風險識别、布料質檢、流行元素标注等等應用。
盤古大模型是通過把算力、研發成本前置到華為雲側，如華為雲每年會消耗英偉達V100GPU超過4000張、使用相當于4TB清洗後純文字資料和10億張圖檔去進行訓練，配備大量的工程師，經過多年的積累研發了大模型系統，這個大模型系統及可以幫助業界把成本大大減少和降低，不用在耗時耗力重複性的開發算法及模型，應用大模型進而快速的進行AI開發為了讓大家更好的認識和熟悉大模型，接下來将為大家展示大模型在不同行業中的應用。
2.2.1CV大模型
在鐵路TFDS進行未知的故障預測的場景中：一輛列車行駛路途中，有個攝像頭架設在一個固定地點，通過拍攝列車上各種不同視角不同位置的圖像後，快速的去判斷列車是否有故障。
由于這些故障出現次數較少，故障類型多、拍攝圖檔品質差等原因，是以很多情況下小模型無法取得很好的應用。很多情況下，工程師要針對每個故障去适配一個小模型，成本就非常高，更不要說未知故障的預測了。
通過盤古大模型，可以用一個或者少數幾個大模型去适配鐵路TFDS中的100多種不同的故障場景。最終保證故障的召回率達到90%，未知故障預測發現率提升1倍以上，同時還能保證單張圖檔的識别時間小于4ms。
2.2.2NLP大模型
關于NLP大模型，為大家介紹的是最高檢應用項目。在這個項目當中，從最高檢擷取文本，對法律文書文本進行分析，去了解其中所代表的内容。比如，某一項法律為什麼應用在這個判決的這個地方，這中間包含了哪些原因等等。
如果是傳統小模型，需要适配資料再去适配不同的案例，這就導緻時間較長。盤古大模型已經在預訓練過程中積累了大量NLP方面的知識，是以基于盤古大模型就可以在很短的時間内，把測試結果不斷地從開始的73%提升到最後的測試結果92%，也是高效地完成了項目。
除了在最高檢的項目應用以外，盤古NLP大模型還在反電炸等場景上得到應用。NLP大模型的遷移性強，對人工的依賴程度小，少量樣本、簡單調參即可。
2.2.3科學計算大模型
所謂科學計算就是把AI的能力輻射到其他領域。在科學計算領域，比如氣象、醫藥、航天航空、海洋、工業、地質等不同場景，在這些場景當中所面臨的共同問題就是解偏微分方程。在偏微分方程解的過程當中，盤古大模型可以發揮出它自己得天獨厚的優勢。比如說神經網絡體量很大，是以在解方程的時候，科學計算大模型可以捕捉到小模型無法捕捉到的特征，進而得到更精确的解答。
相比于傳統方法，用數值模拟的方法求解偏微分方程，求解效率會比較高。在一些極端的場景下，求解效率能夠從2天縮短到0.1秒，提升4~5個數量級的程度。在這種情況下，就可以用實時預測能力為科學計算應用提供實時預警，比如在海量預測問題上，可使用實時預警能力提供實時預警，進而提升在各個方面應對突發海事情況的能力。
接下來位大家展示盤古科學計算大模型的示範demo。該demo主要是進行全球海浪的實時預測，模拟一個地球的形狀，包含全球的陸地和海洋資料。通過模拟給定風速後，全球海洋的海浪高度是可以實時地顯示在螢幕上，這也是得益于推理速度的加快。因為盤古大模型使用0.1秒就完成預測，是以可以實時把結果顯示出來。同時還可以模拟海洋上的突發情況，比如海洋上可能出現的風暴和台風。
在demo當中給大家展示實時生成台風的路徑，并且調整這台風的強度、風速、生命周期等參數，就能發現台風對海浪的高度等造成的影響。是以就可以去模拟台風對海洋的海浪造成的影響。是以該模型就可以有效的幫助我們去指導海洋上的生産生活，比如指導漁船去避險，發揮它自己所特有的價值。
對于大部分海上作業來說，精确的海浪預報具有重要的價值。與基于超級計算機的傳統預報模式相比，Al全球海浪預報模型可以以較低的計算成本，靈活的結合短期氣象預報更新結果，快速提供相關海域未來數小時的海況。該預報系統可以為航運公司提供服務，通過海浪資料結合航速航向來優化航行路徑，減少航行過程中的碳排放，同時避免遭遇極端海況造成人員和财産損失。
2.2.4多模态大模型
多模态，是指把圖像和文本兩種不同的模态結合在一起，它們之間可以進行互動，進而可以幫助我們完成各種各樣的應用。比如像趨勢預測、輔助設計等，這些在時裝行業比較重要的應用。都是得益于多模态大模型，把人類所希望做的事情以文本形式表示出來，然後把它展現成圖像的形式，讓設計師能夠以圖像生成設計圖的方法，傳遞到生産線，加速最後的生産過程。在這個過程當中，利用大模型這樣的思路，使得圖像和文本之間能夠高效地進行互動，進而最後完成這樣的過程。
2.2.5Graph大模型
盤古Graph大模型，主要是用來處理結構化資料。以企業報表資料為例，華為與廣發證券合作中發現，有些廣發證券客戶會存在這個财務造假的情況。廣發證券通過使用盤古大模型，利用資料可以幫助他們高效分析出哪些企業可能存在造假的情況，進而幫助廣發證券更好的去完成業務情況。2019年有496家企業被監管處罰、問詢或被ST處理和利用。
得益于大模型當中所具備的特征抽取及預測的能力，盤古多模态大模型能建構定制化、高效的産業鍊條，并在企業的生産、生活當中是可以發揮出更加重大的作用。如果大家對盤古大模型感興趣，包括對前面所展示的這個demo比較感興趣的話，請與華為商務部門聯系。
3.ModelBox加速跨平台高性能AI應用開發和落地
随着新基建的推進，以及5G通信、雲計算、大資料和物聯網的快速發展，人工智能應用的場景越來越多，AI正從極具想象力的概念成為具有超大發展前景的商業賽道，并逐漸滲透到各行各業，催生了技術産業新的發展。在深耕行業AI落地的過程中，我們發現AI的大規模應用落地并非一帆風順，面臨着比傳統軟體更複雜的難題：
- 部署場景、複雜系統架構涉及端邊雲多種組合。
- 易購計算平台多樣，給應用性能優化帶來了更高的技能要求。
- AI基礎推理架構的API不統一，帶來繁瑣的适配工作。
為解決這些難題，在今年的這次大會上，我們對AI開發生産線ModelArts進行了重磅更新，釋出了ModelBox端邊雲統一AI應用開發架構。
ModelBox是讓模型以統一的格式和接口更高效地運作。通過ModelBox開發者無需過多關注底層技術也能開發出跨平台高性能的AI應用，提升開發效率。開發者在華為雲AI開發生産線ModelArtes上完成模型的訓練和優化之後，均可以将模型通過ModelBox完成應用的開發和內建，并一鍵部署到端邊雲場景的不同裝置中運作，打通行業AI應用落地最後一公裡。
為了幫助開發者快速完成AI應用的開發和部署，ModelBox內建了三大核心技術：
- 高性能并發排程引擎。可實作資料計算和資源管理的精細化智能排程，內建了特别優化過的硬體加速單元。
- 譯制的應用編排異構計算元件。豐富的元件覆寫了主流晶片、多數作業系統和主流的推理架構，可屏蔽這三個層次的平台差異。
- 架構中提供了端邊雲AI系統單元，讓開發者快速寫出格式一緻的AI應用，并結合場景需求，一鍵部署到端邊雲不同的裝置上運作。
基于高性能并發排程引擎，開發者無需掌握底層排程機制，也能保證高性能應用優化效果。ModelBox中将所有的任務都以功能單元的形式封裝，一個完整的應用就是由多個功能單元構成。華為雲自研一套靈活排程政策，在執行過程中，功能單元的計算将統一由線程池并發排程，確定計算單元被配置設定到對應的一個硬體中執行。同時計算中資料和執行單元綁定，保證資料處理的合理配置設定和高吞吐量。
根據引擎在實際應用案例中，讓典型的圖檔檢測場景的資料吞吐量從54QPS提升到了442QPS，處理時延從0.5億毫秒降到了0.2毫秒。
為了帶給開發者更好的開發體驗，提供了圖編排的開發模式，所有API以功能單元的方式提供，應用開發可以做到像搭積木一樣友善。同時針對常用的AI推理場景提供了豐富的譯制功能單元，做到低代碼/零代碼就能完成應用開發。一次開發無需改動代碼就能實作端邊雲不同裝置的一緻部署運作。
三大核心技術帶來的收益也是明顯的，在節約80%左右的開發成本的情況下，還帶來2-10倍的推理性能提升。
3.1應用編排異構計算元件，縮短跨平台開發和部署成本
ModelBox作為AI應用開發架構，華為雲始終關注開發者體驗。依據ModelBox的技術核心，華為雲提供了完整的開發工具鍊，可以讓開發者能夠以自己喜歡的IDE上手ModelBox。
ModelBox的豐富工程模闆可降低開發門檻，對應用的AI開發部分包含功能單元開發和圖編排，可以實作對Python、C++等多種語言的靈活支援和可視化編排的低門檻開發模式。同時還提供完整的調試機制以應對開發中的問題。
開發完成以後，ModelBox以RPN或者容器鏡像的打包方式，一鍵釋出應用。并且，ModelBox格式的應用支援多種部署方式，可以一鍵釋出成ModelArts雲上線上推理服務，也可以通過HiLens端雲協同服務，遠端部署到端邊側運作。為了實際場景需要，ModelBox還提供靈活的插件，幫助開發者實作模型的權限管理和配置等。
3.2ModelBox助力智慧出行應用實作高性能提升和快速落地
從去年開始，已經陸續有夥伴開始将AI應用牽引到ModelBox架構上來。以智慧出行場景為例，我們與夥伴全面重構了安全出行方案中的AI推理業務。在重構前，其中的疲勞和分神駕駛檢測任務是根據傳統的方式，進行AI應用開發和部署。由于業務量的增加，AI運算的性能已經滿足不了要求，并且基礎平台将帶來擴容成本的增加。同時，切換品牌代碼需要重新開發，難度就随之增加。
在雙方團隊配合中選擇了ModelBox重構現有業務，資料吞吐量提升了2-10倍。以抽煙識别為例，從15QPS提升到了150QPS，在不擴容的情況下，業務能力大幅提高，節約了非常高的硬體成本。由于性能提升，我們也可以大膽嘗試更強大的算法，使得識别準确率也有超過10%的提升，同時耗時降低78%。
3.3華為雲助力ModelBox開發者實作商業成功
華為雲開源ModelBox，是希望通過開源能夠與廣大夥伴共同建構端邊雲協同的AI應用生态。
2021年，華為雲依托旗幟社群平台完成了源碼釋出，這也是社群中第一個應用架構類項目。經過半年的開源社群化開發，我們的項目更加完善和強大。今年晚些時候，我們将在下一個版本推出更多的使用者體驗，優化工具。未來，我們計劃提供越來越多的ModelBox開源解決方案，讓大家可以結合更多的參考樣例和項目做到開箱即用。
華為雲誠摯邀請廣大開發者朋友參與到ModelBox的開源項目中來。希望北向的AI算法應用開發者可以貢獻自己的能力，來豐富ModelBox的功能單元和應用場景，同時讓自己的應用可以被更多硬體高效運作。也希望南向裝置廠商把自己的硬體通過開源項目對接到ModelBox項目中來，這樣具有豐富的AI應用，可以補充和擴充硬體的AI使用場景。
為降低開發者上手門檻，華為雲與國辦合作推出了ModelBox生态入門級開發闆。開發者可以從開發闆套件開始體驗ModelBox結合硬體和端遊協同帶來的便利，将自己的IDEA快速變成現實。
同時還為開發者準備了豐富的上手課程，包含入門、進階和高階課。通過系列課程掌握ModelBox的基礎開發概念，上手體驗功能單元和圖形化編排的開發模式。
正是由于ModelBox天生對平台作業系統和推理架構的适配開放能力，結合統一的應用打包格式，讓應用不管是雲上還是端邊側，可複制性都大大提高，這就給開發者的商業變現提供了更多可能。
為了更好的幫助開發者實作商業成功，華為雲AI開發生産線ModelArts和華為雲應用商店，幫助開發者打通從開發到落地的變現通路。ModelBox開發的AI應用，可以通過雲上平台和銷售網絡以及內建商夥伴，觸達更多的行業客戶，帶來更多的商業機會。