天天看點

CPU失業前兆?英偉達公布顯示卡直連SSD技術

傳統的資料讀取依賴于CPU執行虛拟位址轉換、基于頁面的按需資料加載以及其它針對記憶體和外存的大量資料管理工作,作為電腦核心部件之一的顯示卡是無法直接從SSD中讀取資料。但随着人工智能和雲計算的興起,有GPU直接讀取SSD硬體内資料,是最高效的方式。

CPU失業前兆?英偉達公布顯示卡直連SSD技術

為了讓GPU應用程式能夠直接讀取資料,英偉達聯合IBM,通過與幾所大學的合作打造一套新架構,為大量資料存儲提供快速“細粒度通路”,也就是所謂的“大加速器記憶體”(Big Accelerator Memory,簡稱BaM)。通過這一技術,能夠提升GPU顯存容量、有效提升存儲通路帶寬,同時為GPU線程提供進階抽象層,以便輕松按需、細粒度地通路擴充記憶體層次中的海量資料結構。

CPU失業前兆?英偉達公布顯示卡直連SSD技術

對于普通使用者來說,BaM擁有兩大優勢,第一是基于軟體管理的GPU緩存,資料存儲和顯示卡間的資訊傳輸配置設定,都交給GPU核心上的線程來管理。并通過使用RDMA、PCI Express接口以及自定義的Linux核心驅動程式,BaM允許GPU直接打通SSD資料讀寫。

第二就是打通NVMe SSD的資料通信請求,BaM隻會在特定資料不在軟體管理的緩存區域時,才讓GPU線程做好參考執行驅動程式指令的準備。在圖形處理器上運作繁重工作負載的算法,能夠通過針對特定資料的通路例程優化,進而實作針對重要資訊的高效通路。

在以CPU為中心的政策電腦中,會因為CPU、GPU之間的資料傳輸以及I/O流量的放大,拖累具有細粒度的資料相關通路模式。研究人員在BaM模型的GPU記憶體中,提供基于高并發NVMe的送出/完成隊列的使用者級庫,使未從軟體緩存中丢失的GPU線程,能夠以高吞吐量的方式來高效通路存儲。

更重要的是,BaM方案在每次存儲通路時的軟體開銷極低,并支援高度并發的線程。在基于BaM設計+标準GPU+NVMe SSD的Linux原型測試平台的相關實驗測試中,BaM交出相當喜人的成績。

作為代替基于CPU統管一切事務的解決方案,BaM的研究表明,存儲通路可同時工作、消除同步限制,并且明顯提升I/O帶寬效率,讓應用程式的性能獲得大幅提升。NVIDIA首席科學家Bill Dally指出:得益于軟體緩存,BaM不依賴于虛拟記憶體位址轉換,天生就免疫TLB未命中等序列化事件。

CPU失業前兆?英偉達公布顯示卡直連SSD技術

編輯點評:随着Resizable BAR和SAM技術的發展和應用,GPU和CPU之間的帶寬瓶頸得到極大的緩解,但相比于從CPU擷取資料,讓GPU直接從SSD中獲得資料的應用效率會更高。雖然新的BaM目前尚未明确如何在消費者領域應用,但相信不久後也會有相關産品面世。

繼續閱讀