天天看點

IBM認為模拟晶片可為機器學習加速1000倍

人工智能或許能解決一些科學和行業最棘手的挑戰,但要實作人工智能,需要新一代的計算機系統。IBM在部落格中的一篇文章中指出,通過使用基于相變存儲器(Phase-Change Memory,簡稱PCM)的模拟晶片,機器學習可以加速一千倍。

相變存儲器基于硫化物玻璃材料,這種材料在施加合适的電流時會将其相從晶态變為非晶态并可恢複。每相具有不同的電阻水準,在相位改變之前是穩定的。兩個電阻構成二進制的1或0。 

PCM是非易失性的,通路延遲與DRAM水準相當,他們都是存儲級記憶體的代表。英特爾與美光聯合開發的3D XPoint技術就基于PCM。

IBM在部落格中透露,為了實作AI真正的潛力,在紐約州立大學和創始合作夥伴成員的支援下,IBM正在建立一個研究中心,以開發新一代AI硬體,并期待擴充其納米技術的聯合研究工作。

據雷鋒網了解,IBM Research AI硬體中心合作夥伴涵蓋半導體全産業鍊上的公司,包括IBM制造和研究領域的戰略合作夥伴三星,互聯解決方案公司Mellanox Technologies,提供仿真和原型設計解決方案軟體平台提供商Synopsys,半導體裝置公司Applied Materials和Tokyo Electron Limited(TEL)。

還與紐約州奧爾巴尼的紐約州立大學理工學院主辦方合作,進行擴充的基礎設施支援和學術合作,并與鄰近的倫斯勒理工學院(RPI)計算創新中心(CCI)合作,開展人工智能和計算方面的學術合作。

新的處理硬體

IBM研究院的半導體和人工智能硬體副總裁Mukesh Khare表示,目前的機器學習限制可以通過使用新的處理硬體來打破,例如:

數字AI核心和近似計算

帶模拟核心的記憶體計算

采用優化材料的模拟核心

IBM認為模拟晶片可為機器學習加速1000倍

圖1:IBM Research AI硬體中心制定的一個路線圖,在未來十年内将AI計算性能效率提高1000倍,并提供數字AI核心和模拟AI核心管道。

Mukesh Khare提到将深度神經網絡(DNN)映射到模拟交叉點陣列(模拟AI核心)。它們在陣列交叉點處具有非易失性存儲器材料以存儲權重。

DNN計算中的數值被權重以提高訓練過程中決策的準确性。

這些可以直接用交叉點PCM陣列實作,無需主機伺服器CPU幹預,進而提供記憶體計算,無需資料搬移。與英特爾XPoint SSD或DIMM等數字陣列形成對比,這是一個模拟陣列。

PCM沿着非晶态和晶态之間的8級梯度記錄突觸權重。每個步驟的電導或電阻可以用電脈沖改變。這8級在DNN計算中提供8位精度。

IBM認為模拟晶片可為機器學習加速1000倍

圖2:非易失性存儲器的交叉開關陣列可以通過在資料位置處執行計算來加速完全連接配接的神經網絡的訓練。

 模拟存儲器晶片内部的計算 

在IBM的研究報告中指出:

“模拟非易失性存儲器(NVM)可以有效地加速”反向傳播(Backpropagation)“算法,這是許多最新AI技術進步的核心。這些存儲器允許使用基礎實體學在這些算法中使用的“乘法-累加”運算在模拟域中,在權重資料的位置處并行化。

“與大規模電路相乘并将數字相加在一起不同,我們隻需将一個小電流通過電阻器連接配接到一根導線上,然後将許多這樣的導線連接配接在一起,讓電流積聚起來。這讓我們可以同時執行許多計算,而不順序執行。也不是在數字存儲晶片和處理晶片之間的傳輸數字資料,我們可以在模拟存儲晶片内執行所有計算  。“

IBM認為模拟晶片可為機器學習加速1000倍

圖3:我們的模拟AI核心是性能效率記憶體計算方法的一部分,通過消除與記憶體之間的資料傳輸來突破所謂的馮·諾伊曼結構瓶頸,進而提高了性能。深度神經網絡被映射到模拟交叉點陣列,并且切換新的非易失性材料特性以在交叉點中存儲網絡參數。

雷鋒網編譯,via blocksandfiles、ibm blog 雷鋒網(公衆号:雷鋒網)

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

繼續閱讀