調研機構預測，資料中心成為了全球最大的能源消費者，占總用電量的比例将從2017年的3%上升到2025年的4.5%。以中國為例，2030年全國營運的資料中心用電量預計将超過4000億度，占全國總用電量的4%。
雲計算供應商也認識到他們的資料中心使用了大量電力，并采取了提高效率的方法措施，例如在北極建設和營運資料中心，以利用可再生能源和自然冷卻條件。不過，這還不足以滿足AI應用爆炸式增長的需求。
美國勞倫斯伯克利國家實驗室在研究中發現，在過去20年，資料中心效率的提高一直在控制能耗的增長，但研究表明，現在的能效措施可能不足以滿足未來資料中心的需求，是以需要采用更好的方法。
資料傳輸是緻命瓶頸
效率的根源在于GPU和CPU的工作方式，特别是在運作AI推理模型與訓練模型的時候。很多人了解“超越摩爾定律”以及在更大尺寸的晶片上封裝更多半導體的實體限制。更先進的晶片正在幫助解決這些挑戰，但目前的解決方案在AI推理方面有一個關鍵弱點：在随機通路記憶體中傳輸資料的速度顯著降低。
傳統上，分離處理器和存儲晶片成本更低，多年來，處理器時脈速度一直是計算機性能的關鍵限制因素。如今，阻礙發展的是晶片之間的互連。
美國國家标準與技術研究院（NIST）研究人員的Jeff Shainline解釋說：“當記憶體和處理器分離時，連接配接兩個域的通信鍊路就成為了系統的主要瓶頸。”美國橡樹嶺國家實驗室研究人員Jack Dongarra教授簡潔地說:“當我們審視當今計算機的性能時，發現資料傳輸是緻命的瓶頸。”
AI推理vs.AI訓練
與使用AI模型進行預測相比，AI系統在訓練AI模型時使用不同類型的計算。AI訓練在一個基于Transformer的模型中加載數以萬計的圖像或文本樣本作為參考，然後開始處理。GPU中的數千個核心非常有效地處理大量豐富的資料集，例如圖像或視訊，如果需要更快地得到結果，可以租用更多的基于雲計算的GPU。
雖然AI推理需要更少的能量來進行計算，但在數億使用者的自動補全中，需要大量的計算和預測來決定下一個單詞是什麼，這比長期的訓練要耗費更多的能量。
比如，Facebook的AI系統每天在其資料中心觀察到數萬億次推斷，在過去三年，這一數字增加了一倍多。研究發現，在大型語言模型（LLM）上運作語言翻譯推理所消耗的能量是初始訓練的兩到三倍。
需求激增考驗計算效率
ChatGPT在去年年底風靡全球，GPT-4也更加令人印象深刻。如果能采用更節能的方法，就可以将AI推理擴充到更廣泛的裝置上，并創造出新的計算方式。
例如，微軟的Hybrid Loop旨在建構動态利用雲計算和邊緣裝置的AI體驗，這允許開發人員在Azure雲平台、本地用戶端計算機或移動裝置上運作AI推理時做出後期綁定決策，以最大限度提高效率。Facebook引入了AutoScale來幫助使用者在運作時有效地決定在哪裡計算推斷。
為提高效率，需要克服阻礙AI發展的障礙，并找到行之有效的方法。
采樣和流水線可以通過減少處理的資料量來加快深度學習。SALIENT(用于采樣、切片和資料移動)是由麻省理工學院和IBM公司的研究人員開發的用于解決關鍵瓶頸一種新方法。這種方法可以顯著地降低在包含1億個節點和10億條邊的大型資料集上運作神經網絡的需求。但它也影響了準确性和精确性——這對于選擇下一個要顯示的社交文章來說是可以接受的，但如果試圖近實時地識别工地上的不安全條件則不符合要求。
蘋果、英偉達、英特爾和AMD等科技公司已經宣布将專用AI引擎內建到處理器中，AWS甚至正在開發新的Inferentia 2處理器。但這些解決方案仍然使用傳統的馮·諾依曼處理器架構、內建SRAM和外部DRAM存儲器——這些都需要更多電力來将資料移進和移出存儲器。
記憶體内計算或成為解決之道
此外，研究人員已經發現了另一種打破“記憶體牆”的方法，那就是讓計算更接近記憶體。
記憶體牆指的是限制資料進出記憶體速度的實體屏障，這是傳統架構的一個基本限制。記憶體内計算（IMC）通過直接在記憶體子產品中運作AI矩陣計算來解決這一挑戰，避免了通過記憶體總線發送資料的開銷。
IMC适用于AI推理，因為它涉及一個相對靜态但很大的權重資料集，可以反複通路。雖然總是需要輸入和輸出一些資料，但是AI通過将資料儲存在相同的實體單元中，可以有效地使用和重複用于多個計算，進而消除了大部分的能量傳輸費用和資料移動的延遲。
這種方法提高了可擴充性，因為它可以很好地用于晶片設計。通過采用新晶片，AI推斷技術可以在開發人員的電腦上進行測試，然後通過資料中心部署到生産環境。資料中心可以使用一組帶有許多晶片處理器的大型裝置來有效地運作企業級AI模型。
随着時間的推移，預計IMC将成為AI推理用例的主導架構。當使用者處理大量的資料集和數萬億次的計算時，這是非常有意義的。因為不必浪費更多資源在記憶體牆之間傳輸資料，而且這種方法可以輕松擴充以滿足長期需求。
小結：
AI産業現在正處于一個令人興奮的轉折點。生成式AI、圖像識别和資料分析的技術進步揭示了機器學習獨特的聯系和用途，但首先需要建立一個能夠滿足這一需求的技術解決方案。因為根據Gartner的預測，除非目前能提供更可持續的選擇，否則到2025年，AI消耗的能源将超過人類活動所消耗的能源。在這種情況發生之前，需要想出更好的辦法！