https://www.toutiao.com/a6681471223634854404/
2019-04-19 13:20:45
新型架構能夠挖掘深度學習的巨大潛力。然而，到目前為止，隻有一款AI晶片是完全符合描述和基準測試的，它就是谷歌的TPU。即便如此，這一領域仍然正在蓬勃發展，相關的技術也開始逐漸明朗，比如模拟計算、新興記憶體和封裝技術、以及一系列專門用于處理神經網絡的技術等等。對此，比利時魯汶大學Marian Verhelst教授表示：
“這個領域涉及範圍很廣，包括每個層面的研究。”Verhelst教授專門研究探索二進制精密格式的晶片。她說，模拟計算很有用，特别是3到8位格式的模拟計算。
NVIDIA首席科學家、資深處理器研究員Bill Dally表示：“NVIDIA有多個和深度學習模拟計算相關的研究項目，但是到目前為止，還沒有一個項目可以轉化為産品。”他補充說，有一些項目是需要數學神經網絡的，生成的結果并不适合用于進行模拟。
“過去那些被否定了的CPU新想法都被重新拿出來進行探索，例如模拟計算、記憶體處理器、晶圓級內建，”資深計算機研究員David Patterson這樣表示，他現在在谷歌工作。“我迫不及待地想看看這些激進的想法是否奏效。”
“兩三年前，每個優秀的計算機架構師都會說——'我可以做到100倍速’。正因如此，我們看到大量解決方案已經出現，并且提供了各種功能上的改進，不斷逼近目前技術的極限。” Chris Rowen表示，他曾經是MIPS和Tensilica公司的聯合創始人，現在又建立了一家人工智能軟體公司BabbleLabs。
▲ 一張圖縱覽矽谷的這20多家AI晶片公司（來源：Chris Rowen，BabbleLabs）
>>> AI基準測試遭遇初創公司冷落
處理器設計的複興給人們帶來的一大挫折就是漫長的等待。
去年5月，百度和谷歌公布了MLPerf基準，以一種公平的方式來衡量“幾十家”初創公司開發的晶片。該項目負責人Patterson表示：“結果有點令人失望，沒有一家初創公司送出第一個疊代的結果。”
“也許他們有戰略方面的考慮。但又不禁讓人懷疑，他們是不是在開發晶片的過程中遇到了問題，還是晶片性能沒有達到他們的預期，又或者是他們的軟體不夠成熟，無法很好地運作這些基準測試？”
這個訓練基準測試采用了ResNet-50，第一個測試結果顯示，谷歌TPUv3在從8個晶片擴充到256個晶片的過程中，性能擴充幾乎可以達到100％，相比之下，NVIDIA Volta在從8個晶片擴充到640個晶片的過程中，性能擴充了大約27％。
Patterson解釋說，TPU之是以占據優勢，是因為它可以作為多處理器在自己的網絡上運作。相比之下，NVIDIA Volta則是運作在x86叢集上的。
Patterson希望未來MLPerf之于AI加速器就像Spec之于CPU。第二批訓練結果預計将在今年晚些時候公布。針對資料中心和邊緣推理工作的MLPerf基準測試也将在今年首次亮相。
與此同時，也有研究人員警告稱，AI晶片行業過于關注峰值性能。“我們認為峰值性能沒有什麼用，因為峰值性能沒有考慮到效率上的差異，”帝國理工學院Erwei Wang博士這樣表示，最近他和同僚共同撰寫了一份關于人工智能加速器的研究報告。他指出，“人們應該公布的是标準資料集和基準測試的持續性能結果，以便更好地對比不同的架構。”
▲MLPerf在12月釋出的初步結果采樣（有關詳細資訊請參閱mlperf.org/results。）
>>> 分析師：格局尚不明朗
有分析師抱怨說，包括Graphcore和Wave Computing等在内的知名初創公司到目前為止都沒能提供性能資料。唯一的例外是Habana Labs。
The Linley Group分析師Linley Gwennap表示，該初創公司“似乎有一些真實的資料，在白皮書中詳細說明其性能是NVIDIA GPU的3到5倍......但他們最初關注的是推理任務，而非訓練。”
對此，Moor Insights＆Strategy分析師Karl Freund也指出，目前來自初創公司的性能資料确實“少得可憐”。
其中，Habana隻是在采樣階段，Wave宣稱已有客戶采用，Graphcore表示會在4月之前出貨晶片産品，Groq可能會在4月北京舉行的一個活動上第一次亮相，其他初創公司則可能會于9月在舊金山舉行的一次活動上釋出産品。
有幾家中國初創公司——例如Cambricon和Horizon Robotics，讓我們看到了一些希望，這些公司先于美國的同類企業進入市場，專注于人工智能推理領域。
Freund表示：“由于目前在推理領域還沒有巨頭出現，是以會掀起一股淘金熱，但我不知道是否有初創公司能夠在訓練領域向NVIDIA GPU發起挑戰，因為隻是在一個産品周期内你無法扭轉競争形勢，企業需要可持續的領先地位。”
他說：“唯一一個真正在訓練領域站穩腳跟的是英特爾，英特爾已經推出了Nervana晶片，他們正在等待合适的時機，因為如果隻是有一堆MAC和降低了的精度，立刻會被NVIDIA秒殺。他們需要解決記憶體帶寬和擴充問題。”
在這場競賽中，英特爾可以說是多管齊下。英特爾的一位AI軟體經理表示，與他工作關系最緊密的，就是至強處理器和前蘋果及AMD GPU大師Raja Koduri設計的新GPU。
英特爾最新的Cascade Lake至強處理器中增添了很多新功能，用以加速人工智能。我們預計，英特爾将不再需要GPU或加速器，但也不會放棄與GPU和加速器在性能或效率方面的競争。
而對于NVIDIA來說，他們正在将最新的12納米處理器封裝到各種工作站、伺服器和機架系統中。有人說，NVIDIA在AI訓練方面遙遙領先，甚至可以把7納米産品保留到2020年之後再推出。
除了，NVIDIA之外，許多大廠商也都在基于專有的互連技術、封裝技術、程式設計工具和其他技術建構競争生态系統。其中，英特爾涉及的技術領域最廣泛，包括專有的處理器互連、針對Optane DIMM的記憶體協定、網絡架構、以及新興的EMIB和Foveros晶片封裝。
AMD、Arm、IBM和Xilinx則圍繞CCIX（用于極速器的一種緩存一緻性互連技術）和GenZ（一種記憶體連結技術）進行聯手。最近，英特爾還釋出了一種針對加速器和記憶體的更開放的處理器互連技術——CXL，但到目前為止，CXL仍然缺少對CCIX和GenZ的第三方支援。
▲AI晶片初創公司清單（來源：Chris Rowen，BabbleLabs）
>>> 資料中心試水DIY晶片
當初創公司争相在伺服器系統中為自己的晶片占據一席之地的時候，一些企業卻在部署他們自己研發的加速器。
比如：谷歌已經在使用第三代TPU，該版本采用了液體冷卻技術，運作平穩；百度去年也宣布推出了自己的首款晶片；亞馬遜表示将在今年晚些時候推出首款晶片；Facebook正在組建一支半導體團隊；阿裡巴巴則在去年收購了一家處理器專業公司。
大多數廠商對其晶片的架構和性能都非常苛刻。百度表示，将釋出針對訓練和推理任務的不同版本14納米“昆侖”晶片，可以提供260 TOPS性能，功耗為100 W，其中封裝了數千個核心，總記憶體帶寬為512 GB/s。亞馬遜方面表示，Inferentia将實作數百TOPS的推理吞吐量，多個晶片聚合在一起可以實作數千TOPS性能。
“很多初創公司都是以面向超大規模資料中心售賣晶片為目标開展業務的，而現在，這可能行不通了，”二級公有雲服務商Packet公司首席執行官Zac Smith這樣表示。
我們可能永遠也看不到雲計算巨頭設計晶片的拆解細節，但是有一些公開資訊描述了很多嵌入塊的情況。Linley Group分析師Mike Demler表示，這些嵌入塊展現了從改進後的DSP和GPU子產品，到使用乘法累加數組，再到資料流體系結構的演變，這種架構将生成的資訊從神經網絡的一個層面傳遞到另一個層面。
和三星最新公布的Samsung Exynos中的AI子產品一樣，很多晶片都轉向重度使用網絡修剪和量化技術，運作8位和16位操作以優化效率和網絡稀疏性。
對網絡進行修剪将變得越來越重要。卷積神經網絡（CNN）之父Yann LeCun表示，神經網絡模型隻會越變越大，這就要求性能越來越高。不過他指出，神經網絡模型可以被極大程度上進行修剪，特别是考慮到人類大腦最大限度上隻被激活了2％。
他在最近一篇針對晶片設計人員的論文中，呼籲開發能夠處理極其稀疏網絡的晶片。“在大多數情況下，晶片單元都是處于關閉狀态的，事件驅動型的硬體具有一定的優勢，如此一來，隻有激活的單元才會消耗資源。”他這樣寫道。
“遞歸神經網絡是最稀疏的，是以，使用細粒度修剪也是最有效的。有50%-90%的修剪都是針對CNN的，但是晶片設計人員要面對支援細粒度修剪不規則性和靈活性方面的挑戰。”帝國理工學院研究員Erwei Wang這樣表示。
減少權重數量和降低精度有助于減少記憶體需求。Wang說，英特爾的至強晶片和其他很多晶片已經在使用8位整數資料執行推理任務，而FPGA和嵌入式晶片正在向4位甚至二進制精度發展。
這麼做是為了讓處理操作盡可能靠近記憶體所在位置，避免片外通路。理想情況下，這意味着能夠在寄存器内部或者至少是在緩存内部進行計算。
LeCun甚至在他的論文中設想了一種将記憶體和處理單元結合起來的可程式設計寄存器。
“為了讓深度學習系統具備推理能力，深度學習系統需要一種短期記憶體作為情景記憶體......這樣的記憶體會變得非常普及，而且非常龐大，亟需硬體方面的支援。”他這樣寫道。
▲根據研究員Erwei Wang及其同僚最近對可程式設計架構的研究調查現實，性能差異是很大的
>>> MAC單元之外所需的靈活性
如果必須遠離晶片，那就把大量請求批量處理成幾個較大的請求，這已經是一種很流行的技術。Patterson注意到谷歌最近發表了一篇論文，對于批量操作最理想大小的讨論帶來了一些啟發。
Patterson表示：“如果你小心操作的話，會在某個區域内得到最理想的加速，然後當你增加批量處理規模的時候，就會發現收益出現遞減，然後在很多模型中都表現平平。”
LeCun在論文中警告說：“我們需要新的硬體架構，這些架構在批量處理大小為1的時候可以高效運作。這意味着我們完全不需要依賴于矩陣産品作為最低層級的操作工具。”這一理論無疑是對目前晶片核心的多架構單元的某種終結。
鑒于現在還是深度學習的早期發展階段，最重要的指導方針是保持靈活性，以及在可程式設計性和性能之間尋求平衡。
“我們吸取到的教訓是，神經網絡是持續演化的，你無法對神經網絡的次元做出假設，但又希望在各個方面都能保持高效。”負責開發Eyeriss晶片的Vivienne Sze這樣表示。
Wang說，在深度學習發展演化的過程中，FPGA将發揮重要的作用，這就要求硬體具備靈活性。他看好Xilinx的Versal ACAP，這是一種FPGA與硬體的混合體。
Wang提出的LUTNet研究探索了如何在無需維護索引的前提下定制查找表，以作為處理細粒度修剪的推理核心。他表示，這将讓推理任務所需的晶片減少一半。
這可以說是一個新穎的想法，很多企業已經在這方面進行實踐。例如，東芝最近推出了一種ADAS加速器，其94.5平方毫米的晶片中封裝了4個Cortex-A53核心，2個Cortex-R4、4個DSP、8個專用加速器子產品。
總的來說，對于AI晶片領域，我們還有非常大的想象空間，可以說，好戲才剛剛開始。