“人工智能應用落地的‘高歌猛進’,是有人在‘負重前行’。”
王博士(化名)作為清華大學智能産業研究院自動駕駛課題組的一員,負責車路協同資料集的訓練工作。
課題研究中,王博士在電腦上要處理成千上萬張圖檔:每一張圖檔,道路軌迹、建築形狀都不盡相同,一張圖檔裡可以拆分出好幾個标簽,這是他每天都要面對的“複雜”标注題。
“我們拿到這些檔案之後,可以挖掘出很多資訊,然後不斷地去進行标注。既要保證标注的效率,也要保證品質,這樣才能訓練出更精準的AI模型。”
圖檔來源:清華大學智能産業研究院官網
自動駕駛,是清華大學智能産業研究院的研究課題之一。作為一所面向第四次工業革命的國際化、智能化、産業化研究機構,這裡彙聚了來自全球的國際頂尖科學家、産業變革領袖和世界級研創團隊。
他們站在國際科技前沿,引領中國的科技創新,探索着自動駕駛、生物計算、綠色計算等領域的未解之謎。
AI“更懂”人類的背後,是大量資料訓練的結果。
時逢2022年的9月,清華大學智能産業研究院的多項科研工作都在和時間賽跑。就在這時,清華大學智能産業研究院的十多個課題組感受到了AI研究工作的“阻力”,“給圖像做标注時,圖檔遲遲加載不出來;檢索圖檔,系統也要卡很久。”
原來,訓練AI資料集需要存儲大量資料,資料量很快就達到百TB級,而傳統存儲陣列在龐大的資料量面前“不堪重負”,沒有展示出最佳的性能、可擴充性等能力,導緻科研工作者們在實際操作時遇到了卡慢問題。
面對存儲性能提升的難題,信服雲EDS為清華大學智能産業研究院設計了高性能檔案存儲方案。480TB存儲空間配置完成後,有了充足的存儲空間,科研工作者們可以放心地開展AI訓練的工作。
一個可以盡情“馳騁”的存儲底座,背後是信服雲EDS“剛柔并濟”的實力。
在硬體上,信服雲EDS采用通用的X86伺服器搭配NVMe固态硬碟的組合形式,建構存儲高性能層,這使得訓練叢集通路資料時,可以優先經過高性能層的緩存加速,相較于傳統磁盤陣列,存儲性能有了大幅提升。
在軟體上,信服雲EDS通過自研的分布式高性能檔案系統,利用小檔案合并、phxkv分布式中繼資料庫、智能預加載等自研技術,提高KB級小檔案的中繼資料和資料處理效率,有效保障AI訓練過程中通路資料的效率,并大幅縮短了科研中的AI訓練時間。
對于清華大學智能産業研究院而言,選擇一款存儲産品首要關注的是性能。因為科研工作者在标注資料時,需要不停地讀取檔案和建立檔案,頻繁的操作中無疑會增加中繼資料的通路耗時,CPU算力也會受到影響,而信服雲EDS讓讀寫檔案的性能徹底告别了卡慢。
其實,信服雲EDS和使用者的雙向奔赴,不止于此:
容量與性能的同步擴充,見證千行百業的騰飛與發展。
“我們現在的容量使用率已經超過90%,但性能絲毫沒有受影響。”除了提供穩定一緻的性能表現,信服雲EDS靈活擴充的能力,也在不斷重新整理使用者的預期。考慮到研究院資料規模不斷增長的情況,信服雲EDS支援同時擴充容量和性能,這打破了傳統存儲架構的局限性。
在傳統存儲架構中,容量增長到一定程度,性能的增長不會相應增加,甚至還會出現性能下降的現象。而信服雲EDS實作了容量和性能的同步擴充,在容量擴充的同時,存儲性能也随之線性增長。以叢集規模擴充至8節點為例,混合盤配置4KB随機讀可達120萬IOPS。
故障閉環處理的設計,是保障業務可靠運作的底氣。
在注重高性能的同時,業務連續性和資料可靠性也不可忽視。為此,信服雲EDS建構了完整的故障閉環處理架構:
在故障發生前,通過硬體亞健康預測、檢測和資料多副本、糾删碼等機制,幫助使用者提前預防故障的發生;亞健康的可視化監控,則讓使用者感覺硬碟健康狀态,提前做好備件采購和替換準備工作。
在故障發生時,通過亞健康硬體自動隔離、智能資料修複、I/O路徑自動切換等機制,自動處置問題,最大化減輕運維的壓力,同時也保障了業務連續性和資料可靠性。如若發生人為誤删除、惡意删除或超過備援機制範圍的故障等情況,可通過快照備份、資源回收筒等機制快速找回資料。
這些高可靠的設計,也是使用者堅定選擇信服雲EDS的理由之一。
截至目前,信服雲EDS已經累計參與傳遞超過20000個客戶和300+例PB級項目,在AI訓練、衛星遙感、醫療影像、動漫制作、軟體開發等場景獲得了使用者的廣泛認可。
從蒸汽技術革命到資訊技術革命,科技一次次改變着世界。
這一次,AI的想象力更是無限。這些面向未來交通、醫療、綠色發展的難題,也正在一步步被清華大學智能産業研究院的科學家們“拿下”:
釋出全球首個真實場景車路協同資料集
研發出連續獲得全球第一的自動化蛋白質結構預測平台
綠色計算5G網絡智能減碳技術獲得吳文俊人工智能科技進步獎
丈量寰宇,眺望星辰。在科技領航者的探索下,智能時代正以一種前所未有的清晰度呈現在我們面前。信服雲EDS身處這個偉大的時代中,将集自身之所長,融使用者之所需,助力科研工作者們在資料的浩瀚宇宙中,自由翺翔。