天天看點

教堂與集市的有機結合,昇思MindSpore的發展之路 | Q推薦

目前在 AI 領域研究的過程中存在一些亟需解決的問題,比如缺乏高品質的學習資源,導緻新手入門難,有經驗的開發者也因為找不到成熟完善的工具和架構,使開發效率受到限制。

以智慧交通中的車輛識别為例,開發者雖然可以在網絡上找到很多預訓練模型,但其準确率卻難以保障,而如果要在企業内部重新訓練模型,又需要一系列工具做支撐。目前的 AI 架構,在性能和易用性方面,多傾向于前者,導緻架構的布署和使用都比較複雜。且大部分架構都存在場景覆寫不足、功能尚不完善的問題,如果開發者遇見了困難,基本也不存在太有效的求助管道,隻能靠自己鑽研,研發效率很低。

以上種種,都是當今 AI 開發者正在遭遇的真實困境。

好消息是,許多企業、開源作者也注意到了這些問題,AI 工具、架構無論在品類還是成熟度上,正快速發展,華為的昇思 MindSpore 就是其中之一。昇思 MindSpore 是由華為于 2019 年 8 月推出的 AI 計算架構,提供全場景通用 API。2020 年 3 月 28 日,華為宣布 MindSpore 正式開源,随即,開源戰略成為整個 MindSpore 項目運轉的重中之重。

可以說,對開源生态建設的投入,是 MindSpore 在社群内獲得高關注度的原因之一。而 MindSpore 之是以能幫助 AI 開發者解決問題,也恰恰是因為開源。

1

2020 - 2022 :昇思 MindSpore 的開源與生态建設“秘法”

著名的開源運動旗手 Eric Raymond 曾于 1997 年在極具影響力的論文《大教堂與集市》中提出一個核心議題:Linux 社群“開放到幾乎是混亂”的合作模式,竟然可以建構出這樣一個世界級的安全、穩定、易擴充的作業系統,這背後的原因是什麼?答案是 Linux 沒有采用大多數閉源商業軟體的“大教堂模式”,而是采用了協作、開放的“集市模式”,也就是開源的模式。

也恰恰是開源,幫助當今世界衆多主流基礎軟體,建構起了成熟的生态。尤其是在 AI 領域,開源可以最大程度地聚集全球頂尖開發者的技術力量,保持軟體快速、高品質的疊代。可以說,開源是解決工具架構類在行業發展早期,場景覆寫不全、模型精度不夠、易用性不高等問題的主流方案。

而開源的 MindSpore 之是以能在短短 2 年時間裡就獲得衆多組織和機構的認可,并仍然保持着高速發展的态勢,也與其完善的開源營運理念密不可分。

MindSpore 社群一直本着以技術為核心的營運理念,建構能夠為開發者帶來核心價值的技術架構,“核心價值”指的是社群帶給開發者的技術、人文、商業、生态等價值。圍繞這一價值理念,MindSpore 社群成立了豐富多彩的 SIG,開展了各具特色的開發者社群、泛内容平台等系列活動。同時,MindSpore 在社群運作和管理等制度方面采用了“教堂”模式,讓社群透明、高效、規範的健康發展。

這一系列營運理念,使 MindSpore 借助開源的力量,迅速在多個次元取得成績,并進一步建設整個 AI 開發生态。

與高校、科研機構廣泛合作,基礎研究與人才培養并駕齊驅

MindSpore 成功聯合多所知名高校與科研機構進行項目合作,相繼簽約支援了武漢.Luojia、紫東. 太初、鵬程. 盤古、鵬程. 神農等千億級參數的大型項目。這讓 MindSpore 的生态圈從産業界擴充至學界。

此外,MindSpore 還與 100 多家高校展開教學合作,開設深度學習、計算機視覺、自然語言處理、機器學習 / 模式識别、人工智能導論等智能基座課程,出版 MindSpore 相關教輔書籍,讓學習 AI 技術變得更容易。MindSpore 社群還将持續積極響應國家 AI 人才培養的号召,緻力于打造學習成長型社群,關注個人發展,為每一位開發者規劃由淺入深的學習成長路線。

社群幫助開發者能力提升,拓寬職業發展路徑

MindSpore 一直秉承開發者第一的營運理念,在社群發展中十分注重開發者的成長。

MindSpore MSG 的河南組織者就是個很好的代表。最初他隻是偏業務邊緣的開發者,加入 MindSpore 開源社群後,一方面他積極參與社群組織的各項活動;另一方面,不斷加強個人學習能力,參加社群的多項技能考試。此外,他還在去年河南遭受重大水災和地鐵事件時果斷伸出援手組織當地開發者進行相應救援活動。在去年年底的一次社群回報中,他陳述自己在大廠找到了 AI 解決方案相關的工作。MindSpore 的經曆使他從一個邊緣開發者一步步成長為核心 AI 開發者,完成了個人的華麗蛻變。

社群還在多個國家和地區成立了 MSG,在 MSG 中,成員可以一起探讨技術問題、分享實際案例,這使得開發者之間可以快速高效的進行溝通,共同進步。

産業創新與社會責任并重

截止目前, MindSpore 服務了超過 5000 家企業,涉及醫療、交通、金融、制造、能源等諸多領域,在此基礎上推進支撐了智能遙感開源生态和多模态人工智能産業兩大聯盟的成立。

搭載 MindSpore 架構推出的首個一站式标注軟體 Pair 就是個很好的例子。Pair 基于 MindSpore 快速的 CPU 推理,提供智能醫學影像标注功能,對于操作者來說隻需一步框定操作就能快速實作目标輪廓的全自動精确标注。目前已經服務 2000+ 醫院類機構客戶。此外,MindSpore 還聯合山水自然保護中心,将 AI 技術應用于實際的生物多樣性保護場景,共同開展紅外相機照片 AI 物種識别模型訓練工作。這也是國内首個基于國産 AI 架構的紅外攝像預訓練模型。

以上幾個次元的突破,也反哺了 MindSpore 在開源層面的建設工作。截止目前,MindSpore 在 Gitee 的下載下傳量已經超過142 萬次,項目總 Star 數16000多個,累計 PR 數超過5 萬個。除此之外,在 2021 年 MindSpore 成為熱度最高的 AI 開源社群并榮獲 AI 開源領域的多項大獎。當然,最大的收獲還是來自全球各個地區的,越來越多的開發者加入到社群中來,一起推動 MindSpore 的開源建設。

教堂與集市的有機結合,昇思MindSpore的發展之路 | Q推薦

MindSpore 社群資料概覽

2

厚積薄發,MindSpore 1.6 釋出

在開源、社群、生态方面的建設工作,衆多開發者幫助 MindSpore 在工具層面本身實作了新一輪的突破。反過來看,隻有工具變得更好用了,開發者才會真正受益。在 2022 年的 MindSpore TechDay 上,介紹了 MindSpore 1.6 的很多新特性和功能。

為了解決開發者在實際使用中遇到的問題和訴求,MindSpore 與開發者開展了系統、深入的交流,針對來自一線開發者的回報,進一步在開發效率、易用性和性能優化等諸多方面進行了更新改進。如控制流性能提升并支援副作用訓練,釋出高效易用的圖學習架構 MindSpore Graph Learning、高性能可擴充的強化學習計算架構 MindSpore Reinforcement,還提供了第三方架構模型遷移工具和開發套件 MindSpore Dev ToolKit。此外 1.6 版本還為對量子計算感興趣的開發者帶來了支援快速上手的 MindSpore Quantum 量子子產品。

教堂與集市的有機結合,昇思MindSpore的發展之路 | Q推薦

MindSpore 架構圖

更高的開發效率和性能優化

MindSpore 1.6 基于新版本高效文法,重構 Yolo v5 等 Model Zoo 模型,讓開發者的編碼更為順暢,在調試、調優等功能特性上,昇思 MindSpore 進行了系統的改進,幫助開發者提升開發效率。

在 MindSpore 1.6 版本中,對控制流的 IR 表達設計進行了重構,優化了控制流子圖數量,同時新增支援副作用訓練,優化帶來的直覺表現就是執行性能和編譯性能上的顯著提升。

自定義算子能力更新

早期,社群不少開發者回報提供的算子種類太少,針對這個問題,MindSpore 1.6 對自定義算子能力進行了全面更新,提供了支撐包括 Ascend、GPU 和 CPU 在内的多平台統一算子開發接口 Custom,基于這一實作,開發者可以友善地自定義并使用自己的算子。

全場景快速布署

MindSpore 的定位是面向全場景的 AI 架構,全場景支援是指對終端、邊緣、雲環境等場景的支援,并打通雲到端全流程,開發者的精力應該聚焦于 AI 應用的創造,而不應該深陷于複雜的安裝布署過程中,MindSpore 屏蔽了針對不同平台、環境的布署細節,提供一鍵環境布署,5 分鐘完即可成環境搭建并使用。

3

未來:堅持做正确的事情

2022 年的 昇思 MindSpore TechDay 已經落下帷幕,緊接着将迎來 MindSpore 2 周年的日子。回顧開源至今,MindSpore 今天取得的成果足以證明開源開放、開發者至上、社群優先的理念是正确的,是值得長期踐行下去的。

未來 MindSpore 會繼續奉行這一原則,吸引更多優秀的開發者加入進來一起打造有競争力的開源社群,聚焦開發者需求,幫助更多的開發者成長,同時持續打造更優秀的 AI 架構,彙聚科研與産業的力量,更好地為開發者、使用者與合作夥伴提供服務和支援。

參考文獻:

MindSpore 官網:

https://www.mindspore.cn/

Mindspore 技術白皮書:

https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/white_paper/MindSpore_white_paperV1.1.pdf

點個在看少個 bug

繼續閱讀