天天看點

1行代碼實作模型推理的「模型即服務」産品

作者:鄧鋤頭

背景概述

雲栖大會阿裡釋出的模型即服務的“魔搭社群”主要解決人工智能解決方案或産品場景裡面的模型部署,訓練,更新等全生命周期的問題和服務。

1行代碼實作模型推理的「模型即服務」産品

新見聞

MaaS使用者是誰,解決什麼場景問題

  • AI愛好者,研究者,開發者,使用者:通俗點就是日常工作需要天天和算法模型打交道的人們
  • 場景問題:在實際問題中的模型使用方式及過程低效的問題,其實還是實作MLOPS(機器學習統一開發和統一部署)

    再對MLOPS深入一些介紹就是完整的算法模型的全生命周期,由以下5個階段

  • 基于業務目标的模型架構搭建
  • 擷取及準備需要處理的資料(資料解決方案)
  • 構模組化型工程及開發模型
  • 部署釋出算法模型
  • 監控、疊代、優化模型

模型即服務的案例範例

  • 場景1:0基礎小白使用者(潛在客戶),把自己一張照片上傳到modelscope,雲端推理服務完成運算,傳回結果給使用者,就能快速感覺了解到目前模型能解決的問題和實際應用效果。

我手動測試了一個圖像描述的模型,一張醫院大樓圖檔被描述成了“在北京”還真是不盡如人意。

然後又試了一個中文搜圖的功能,第一次搜秃頭的鹦鹉直接提示不合規,可能超出他們詞庫範圍了,然後用逛公園的猩猩花費了40秒,傳回了85張猩猩的圖檔,整體上有一半以上符合我的預期

1行代碼實作模型推理的「模型即服務」産品
1行代碼實作模型推理的「模型即服務」産品
  • 場景2:模型開發者(賣家),把自己做好的模型上傳到modelscope就上線對外釋出。然後其他開發者通過安裝modlescope的library基礎環境,然後運作的時候直接指定對應模型在modelscope上的id就能快速運作相應的模型。
1行代碼實作模型推理的「模型即服務」産品
  • 号稱“2行代碼,使用所有模型”
1行代碼實作模型推理的「模型即服務」産品

模型微調

總結實作流程路徑就是,針對一個已經有的标準模型,upload自己的初始資料集,相當于進行微調訓練得到新的“微調模型”然後新的輸入驗證新的輸出。

舉的例子是一個“文本生成模型”由聯想補充解釋模型,通過新的古詩詞資料集微調之後變成了古詩生成模型。

也是強化模型進行自疊代的一個思路,在暖通節能裡面随着性能降低,或者氣候交替就需要這個思路去疊代整體的制冷系統模型

所謂「大」模型

資料對象:十萬億級别參數

訓練方式方法:高效訓練架構+加速訓練+水準擴充多種分布式方式

訓練過程:512GPU* 10天

SOTA預訓練模型

State of the arts 的縮寫,指的是在某一個領域做的Performance最好的model,一般就是指在一些benchmark的資料集上跑分非常高的那些模型。

擴充:

SOTA model:并不是特指某個具體的模型,而是指在該項研究任務中,目前最好/最先進的模型。

SOTA result:指的是在該項研究任務中,目前最好的模型的結果/性能/表現。

雲端模型生态飛輪

這個理念确實很棒,第一步推動社群生态的是達摩院,把自己成熟穩定的模型都公開放出來提供給所有AI愛好者參與進來,使用和體驗MaaS,然後可以基于社群的模型訓練自己的資料集後進行新的微調模型生成,然後期許與新模型的回流上傳到模型社群,進一步增大算法模型領域的影響力,在通過免費的算力,一些體驗的阿裡雲其他的雲生态服務産品進行簡易化配置指導(目測有很多一鍵增加gpu算力,或者擴充資料集上限等等雲服務産品可以被便攜購買)然後就“情不自禁”的購買了阿裡雲生态的服務,再反哺社群的營運投入,社群再進一步強大,吸收更多優質模型開發者。如此循環,影響力不斷擴大。成為ai一哥。

一些思考:很多商業機密的“SOTA model”的上傳到社群基本不可能,例如一些攝像頭廠商做得很完善的包括自動抄表的視覺模型,這些都是給硬體加持價值的模型,上傳肯定不行,能公開就說明肯定可以本地免費使用的。隻能是上傳一些商業價值有限的,但是對整體人類文明推動或者觸發交叉創新的模型公布出來可以有意想不到的效果。

商業變現思考

  • 作為模型開發者:基礎模型的二次開發,找模型原作者進行二開或者付費使用。
  • 作為模型使用者:在垂直的産業領域,例如資料中心設施經理,可以結合成熟的模型進行語音指令進行互動,獲得當然的資料中心裝置故障,變更,以及事件的執行情況。
  • 作為社群營運方:提供測試體驗算力的服務,存儲模型排程的收費平台工具PAI
1行代碼實作模型推理的「模型即服務」産品

總結

  • ModelScope主要輸出模型管理和資料集管理的能力,補充給阿裡雲服務生态的ai模型管理的缺位。
  • 初始化模型都來自于達摩院和各大高校以及上下遊生态公司,做公網服務确實非常友善包括語言處理,圖像處理這些成熟的c端人工智能落地領域。

繼續閱讀