當吳恩達還在google訓練電腦矩陣使用人工智能，識别喵星人視訊時，他并非一帆風順。
google在世界各地的資料中心擁有海量計算機，對于吳恩達的工作，計算量絕對綽綽有餘。但配置如此強大的計算機叢集并不是一件容易的事情，如果有一台伺服器忽然當機（如果你同時使用1000台機器，這種事情幾乎每天都會發生），就會減小準确性。
吳恩達透露，這是深度學習世界裡衆多問題之一，如今大資料和人工智能裡最熱的議題是：與雲計算的發展不符。google、亞馬遜和facebook已經使用雲計算在數萬台計算機上運作軟體。
在吳恩達的人工智能實驗後沒多久，一位名叫adam coates的斯坦福大學研究人員想出了一個更好的解決方案，他用一種不同的微處理器，圖形處理器gpu（graphical processing unit），将三台計算機連貫在一起，讓它們像是一個系統一樣運作，結果與google數千台計算機的運作效果是一樣的。這絕對是一個非凡的成就。
coates目前在吳恩達手下，就職與百度。他說，
“和以前支援人工智能的處理器相比，gpu在資源處理上有很大不同，不僅速度更快，同時能在更小系統上緊密整合，成本也得以降低。”
遊戲玩家應該對gpu非常熟悉，他們會購買專門的顯示卡提升視訊遊戲體驗。實際上，在吳恩達的google人工智能試驗之前，學術界也早已了解gpu，它具有強大的數學處理能力，對深度學習而言再合适不過。一開始，研究人員隻為單一系統編寫深度學習軟體，而coates則在很多基于gpu的計算機上建構深度學習網絡。
google和facebook也在使用gpu，當然還有一些著名人工智能實驗室，如橡樹嶺國家實驗室（oak ridge national labs）和勞倫斯·利弗莫爾國家實驗室（lawrence livermore national laboratory）。他們希望利用強大的晶片和速度超快的網絡裝置（現以廣泛應用于超級計算機内）支援深度學習的計算能力。
超級計算機遇到深度學習
在橡樹嶺國家實驗室有一個研究設施sns（散裂中子源），它建構于2006年，曾引爆過世界上最強的材料中子束，幫助實體學家和化學家了解材料内部結構是如何形成的。
sns産生了大量資料，它們需要被徹底分析。而科學家們相信，他們可以利用深度學習算法快速識别資料類型，提升分析能力。識别資料類型可是深度學習的專長。
但問題是，對于科學模拟來說，每次産生700tb資料似乎太正常不過了，不過這比美國國會圖書館所有資訊加起來的量還要大。
不過，在高性能計算機網絡的支援下，現在由gpu支援的深度學習可以解決上述問題。實驗室的titan超級計算機和google雲有些不一樣，雖然它也是有數千台計算機組成的計算矩陣，但titan可以在每台機器記憶體實作快速進出、交換資料，并且推送給其他機器。也就是說，研究人員已經能在titan上利用深度學習算法。
facebook也使用gpu，但負責深度學習的研究人員yann lecun還沒有完全擺脫對cpu的依賴。他說：
“facebook使用了基于gpu的基礎設施來訓練深度學習模型，傳統cpu叢集的處理速度的确太慢了。不過全新的多核cpu晶片，會與gpu産生差不多的效果。”
支援超級計算的軟體
在人工智能被真正認識之前，極客們必須編寫在超級計算機上運作的深度學習軟體。但開發這樣的軟體可能還需要很多年時間才能完成。
吳恩達最初在google建構“貓咪視訊”的人工智能模型裡，有10億個參數，這才多少讓計算機有了點兒人類認知的能力，可以區分照片和視訊裡的内容，比如是貓咪還是倉鼠。
勞倫斯利弗莫爾實驗室已經建構出了包含150億個參數的軟體，是google模型的15倍，人工智能識别能力也會更強大。實驗室負責人barry chen說道：
“我們希望項目結束時，可以建構成世界上最大的神經網絡訓練算法，當然這需要高性能的計算機支援。”
google的方式
那麼，google在做什麼呢？它也在向gpu轉型，不過選擇了一條不同的路徑而已。google建構了一個全新深度學習系統distbelief，在其龐大而蔓生的雲系統上既可以運作gpu，也可以運作cpu。
google将數字運算工作拆分成了數以百計的小叢集，每個叢集會配置1到32台計算機，如此巨大的計算能力讓google的人工智能軟體水準有了很大提升，可以區分椅子和凳子，還能區分“shift”和“ship”這樣的單詞。
當然，google資料中心内部的計算機也可能會當機，這是不可避免的，但是即便如此，也不會對google造成太大的影響。事實上，google整個系統的設計非常棒，用google研究科學家greg corrado的話說，即便有計算機壞了，研究人員們甚至都不會察覺到。
“雲計算vs高性能計算，其實和公司文化、可用資源、甚至是企業品味相關。作為google研究人員，我當然為google内部系統感到高興。” 原文釋出時間為：2015-02-17 本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号