在回顧Chris的演講前，我們先來了解一下Chris本人。Chris Rowen是一位著名的矽谷企業家和技術專家。他目前是Cognite Venture的CEO，斯坦福SystemX聯盟顧問，Cadence設計系統的顧問。他正在開發認知計算領域新的創業企業。他曾擔任Cadence IP集團首席技術官，在那裡他帶領團隊為移動、汽車、基礎設施、深度學習和物聯網系統的進階應用開發新的處理器和記憶體。Chris在1997年建立了Tensilica公司并擔任CEO，開發可擴充處理器，成為領先的嵌入式架構之一，是超過225家晶片和系統公司的許可證持有者，每年共出貨超過40億個核心。後來，Tensilica被Cadence收購，Chris也随之加入Cadence。創立Tensilica之前，他曾任Synopsys設計再利用集團副總裁兼總經理。Chris還是開發RISC架構的先驅，并參與成立了MIPS計算機系統公司，擔任微處理器開發副總裁。他擁有斯坦福大學電氣工程碩士和博士學位，哈佛大學實體學學士學位。他擁有40多項美國和國際專利。他在2015年被評為IEEE Fellow，緻力于微處理器技術的開發工作。
Chris Rowen：我很高興來這裡做演講，和大家聊聊深度學習領域和創業公司的一些重要發展趨勢。我将特别談一談這些重要的科技和趨勢将會如何會影響中國以及世界。
接下來我會講到視覺、創新和一種我稱之為“深度學習大爆炸”的發展狀況。首先來看一個非常簡單的圖表。這個圖表将世界的人口數與錄影機上圖像傳感器的估算數量進行了對比，我們可以看到，圖像傳感器的數量有一個非常快速的增長，并且在過去的幾年裡，有一個非常重要的具有象征意義的交叉點。很明顯，現在攝像頭的數量（下圖紅線）要比可以欣賞到這些攝像頭所拍照片的人數（藍線）多得多。
如果我們回想一下視覺系統舊有的運作方式，它們主要被用來給人們展示好看的、有用的照片。現在我們有那麼多的應用和攝像頭，而沒有那麼多人來看這些像素。
我們應該換個角度來看攝像頭像素發生的變化。現在我們擁有的圖像傳感器的數量，比人的數量要多。如果你觀察這些從溫度計、麥克風還有攝像頭裡收集來的資料，可以發現，攝像頭的傳感器收集的資料量很大，資料率也很高，而99%的這些資料都是一些像素。假設攝像頭都是高清攝像頭，到2020年，我們很容易擁會有200億個傳感器，每個傳感器每秒鐘會有0.5GB的像素産出，也就是每秒共10^19 原始像素的産出，這麼大量的資料會淹沒我們的網絡、存儲器以及每一個我們使用的計算裝置。
攝像頭像素大爆炸，改變計算方式和計算裝置
剛剛說的是數字在變大，而有些數字則在減小。我幾周前在網上買一個了安保的攝像系統，隻需要11.99美元，如果我預測準确，在未來的幾年裡我可以隻花5美元來購買它了。那麼這個5美元的攝像頭，它的成本是怎樣的呢？我認真地做了一個小小的分析。
首先，一個5美元的攝像頭，在它三年的生命周期中，需要有10美元的電力來提供支援。那麼它還有什麼樣的其他成本呢？我給大家做一些簡單假設：假設我要直接把這些原始像素點上傳到雲上，不用任何的壓縮，然後看一下它的成本怎樣？第一行的 Raw 4K UHD是一個高分辨率傳感器，根據上傳所用的電纜網絡或者光纖網絡的花銷，可以知道它的資料轉移的成本。這裡，攝像頭一個月運作的花銷我用美國的價格來标示，在上傳雲端的過程中這些資料可能被儲存至少是一天或者是幾個月。計算所花費的價格方面，我用标準的做神經網絡計算的目标檢測裝置的花銷來标示。是以，一個5美元的攝像頭需要10萬到100萬美元來進行運作，因為它有大量的資料流。
當然，我不會直接把未壓縮的視訊上傳雲端，是以我至少會用 H.264壓縮一下資料。這樣網絡成本就下降了，計算的成本和架構有關，是以依然需要幾千美元（見上圖第 H.264p60一行）。在這個攝像頭的三年使用期中，也許是有一些價值幾千美元的資料流，但兩千萬的攝像頭畢竟還是少數。是以我會做一些事情将錄影機的幀率降低，比如降到一秒一幀，或者每分鐘一幀，進而使存儲和網絡的成本下降。
實際上，我們可能需要假設像素的洪流并不是隻通過壓縮來降低，也可以通過上千個過濾器，智能地選擇哪些視訊序列可以被上傳雲端，被分析、存儲和分享。我們也有一些完全自動化的系統，例如在一些物聯網裝置裡或者汽車中的系統，它不需要把任何的像素上傳到雲端。即便假設雲端是一個非常好的做計算的地方，但是對于最高量的資料流來說，它過于昂貴。接下來我們就談一談實作計算的過程中出現的一些問題和創新。
深度學習是計算過程中的重大創新，視覺計算有三大發展趨勢：精度更高、模型更小、負載均衡
首先我們來說深度學習。深度學習其實是一個非常簡單的通過建立一個數學模型或者數值模型來模仿非常複雜的隐藏系統的方法，我們不知道這個系統的運作方式。
在這種情況下，比如說我看到這個圖檔，有一個神秘的聲音會在我的腦海中響起：“噢，我知道這個是什麼！這是我的父親”，然後我可以至少嘗試完成一個識别人的小任務，就是建裡一個數學模型來嘗試模仿腦海中的過程并獲得同樣的回答。我會根據數值模型和隐藏系統（在這個例子裡就是我的大腦的思考過程）的差別，不斷調整數值模型中的系數，直到它們二者十分接近。深度學習的過程，就是不斷調整一個複雜的數值模型的系數，直到它和一個複雜的隐藏系統相符合。
利用深度學習，我們有很多有趣的事情去做。比如我們用很多照片進行深度學習訓練，那麼我的模型就會變得更加通用，可以在不同情境下了解圖檔的意思。我們會用很多不同類型的資料來進行深度學習，比如圖像、視訊序列或聲音樣本，這樣我就可以推斷很多不同的資訊，包括情感、地點、身份，或者場景描述、演講稿，這些算法的一般化使得他們可以被成功地廣泛應用。
在這方面，視覺的訓練是十分困難的，因為圖檔含有太多的資訊了。在著名的 ImageNet 圖像分類基準中，需要120萬張訓練圖檔、1000個類别來進行識别。你可能覺的1000種分類不算多，而一個四歲的孩子就能認知1000種類别的事物了。但有些情況，比如分類120個不同的犬種，就比較棘手了。我猜你們都認識狗，你們知道這是一隻藏獒，這是西施犬，還有一隻挪威獵鹿犬，但分類更多呢？神經網絡發現的一些重要趨勢可以幫助我們解決這些困難的問題。
讓我們看一些視覺網絡的發展趨勢。首先，我們看到一個向高精準度發展的趨勢（Higher Accuracy）。這種演變是，神經網絡一直到2011年的分類精度基準都在75%左右，而在那之後，這個精準度有了巨大地增長，現在最優的算法可以達到95%以上的準确度。
同時我們也關注計算負載（Bounded Compute Load）。我們可以看到有一段時間，計算負載變得越來越差，不過近期的網絡讓每張圖像的 GMACs回到了相對合理的水準上。同樣的，模型的大小和參數數量快速地上漲，不過也有人在思考如何用較少的參數做好工作，是以我們也能看見一些小型的神經網絡，隻有幾百萬個參數。你可以看到神經資訊處理系統大會（NIPS）的參與度資料，參與度是不斷提高的。
神經網絡在視覺領域的應用是特别有效的，它幾乎把過去的各種視覺算法都被淘汰了。在自動駕駛汽車方面，有25個有意思的計算任務與視覺有關，其中22個是以深度學習作為主要方法，而剩下部分還在使用3D 結構的經典算法。
攝像頭聯網給視覺神經網絡帶來的三大挑戰
随着神經網絡在應用中的普及，我們也要思考一些嚴峻的問題，比如系統的安全和穩定性，還有一些隐私的問題。當我們有幾百億的網絡裝置的時候，我們知道肯定會有安全的隐患，而且因為攝影頭是可以實體通路的，将安全問題變得更嚴重。
同時，還會有其他一些資訊暴露的方式，例如，你可以改變小小地改動訓練的資料庫，在系統中加入一些偏見，使得它給出一些指定的答案，或者跳過一些指定的答案，而且在訓練中這些偏見又是非常難以檢測的。另外，要有一個嚴重的問題就是欺騙，即便是非常小的對圖檔的操作，或者是人工幹預，會使得圖像分類出現錯誤，比如讓某個圖像完全的扭曲，并且出現一個完全不同的結果。
卡耐基梅隆大學的研究者舉了一個非常好的例子。這張圖是一個非常有名的演員瑞茜·威瑟斯彭，他們僅僅給她戴上了一個眼鏡，但是在這個眼鏡上有一些圖案，這個圖案就是為了破壞這個圖檔系統的識别能力。是以我們看起來這張圖還是瑞茜·威瑟斯彭，但是對于計算機而言，它就把這張圖認成了羅素·克勞。
隐私也是一個非常重要的環節，因為我們現在攝像頭越來越多，一個攝像頭和另外一個攝像頭之間、一種資料的來源也會和另外一種資料來源之間會有更多的相關性，是以我們有理由認為，随着越來越多的攝像頭遍布全球，會有更多的資料流互相融合。
例如這張購物的照片，通過一些深層次的分析可以得到各種不同的資訊，是以通過這張街景可能不但可以判斷出你是誰，而且還可以知道你的健康情況怎麼樣，知道你在說什麼，甚至不通過麥克風，因為讀唇語也是有效的。它還知道你跟誰在一起，買了什麼東西，甚至是你的财産狀況。是以，視覺資料是非常豐富的，而且包含了許多敏感資訊。
神經網絡催生計算架構創新：雲端到終端的計算關鍵特征
在技術上，一個大問題就是這些計算都發生在什麼地方？在雲上做了什麼，在裝置端上又做了什麼。這裡肯定要有一些權衡（trade-offs），比如一些安保攝像頭，它内部一定有一些處理過程，有可能是比較複雜深度學習、神經網絡處理過程。在地區性的網絡中，幾個攝像頭的資料流有可能是混在一起的。資料可能會被運輸到雲的邊緣，它也有可能被儲存在雲裡。通常情況下資料是存放在雲裡的，雲計算也比較靈活。如果我們思考一下這裡的權衡：雲可能是一個好選擇，但也是最昂貴的地方之一，傳輸距離最遠，存放時間最長。如果在本地進行計算可能非常便宜且快速，但是你隻能看到你接觸到的最近的資料，但如果在雲上計算的話，不僅靈活性更強，應用更新快，你也可以接觸到更多的資料，但會相對昂貴。
就有幾個關鍵特征來說，系統反應度（system responsiveness）也就是低延遲：進行運算的場所離攝像頭越近，反應度越好。資料分析的範圍（scope of data analysis）：離雲越近，可使用的其他資料的複雜性越高。隐私問題：如果做在本地進行運算，隻選取一些帶有必需資訊的資料傳到雲上，就能更好地保護隐私。成本，尤其是網絡的成本，還有計算的成本，都會随着計算場所向雲端的靠攏而出現有大幅度上漲。
是以很多系統都會這樣配置設定它的計算：最重要的第一層 AI在雲邊進行計算，而另外一層更複雜的 AI 則在雲内進行計算。這對架構的影響也是非常大的，實際上，神經網絡作為一個新的、不同的計算方式，足以帶來許多新的架構發明，而現在就正處于架構革新的過程中。神經網絡讓我們有更高的并行性，有更加有組織的形式來适應特定的架構，它們也可以在低精度條件下做出更好的結果，即便隻有8 bit，它也可以通過認知測試，特别是在認知測試中不需要很大的帶寬，這與訓練是相反的。
是以，人們現在也是發展出了很多的架構，達到超過普通的CPU百倍的能效和百倍的通用 CPU 的通量。我在上面圖表中列舉了一些不同的架構，下面的藍色圓是英特爾的通用 CPU，可以看到這個晶片的性能和功耗。右邊的黃色圓是NVIDIA 資料中心的GPU（在朝右上發展），因為它有很高的性能和非常好的能效，FPGA（紅色圓） 也是同樣的發展軌迹，還有就是谷歌的TPU（紫色圓）。
這幾個條帶代表的是一些用于推理的嵌入式處理器，綠色的是神經網絡DSP，它們是由我之前就職的Tensilica公司開發的，當然還有其他專注于神經網絡DSP的制造商，淺藍色條帶是視覺DSP，藍色條帶是視覺DSP和神經網絡加速器的結合，都是在同一趨勢下開發出來的，我們現在正在提供萬億級的multipliers。很多人在用低精度的模拟方法（analog method），它們可以達到更高的效率，雖然可能沒有辦法用數字的方法（digital）去測量絕對性能。
神經網絡處理器：全球 25家晶片創業公司在做全新的矽片架構設計
用我比較熟悉的 Tensilica 的處理器來舉個例子，它有兩個非常有意思的特點。首先，網絡中的每一個節點，都是一個完整的處理器，它不需要有一個主CPU，完全可以獨立運作，而且有自己一個本地存儲。另外一點，它不僅僅使用矢量處理器（vector processor），主要使用的是張量處理器（tensor processor），也就是說它可以同時處理不僅僅是一維的資料，還有三維的資料，這使得計算密度非常高，可以達到萬億次乘法
現在很多創業的公司也都開始做晶片，我追蹤了一些這樣的公司，這些都是已經上市的，但是還有一些沒有上市，或者正在準備上市的，比如，比特大陸就剛推出了一個非常重要的平台。大概有25個創業公司在做完全新的矽片架構的設計。而且現在這些晶片生産商有很多可使用的 IP blocks。
分析全球300多家真正的深度學習創業公司，中國深度學習公司隻關注少數幾個領域
因為在神經網絡方面有許多機遇，比如說視覺、音頻和雲應用等，是以很多創業公司的出現也就不意外了。如果用AI 的廣泛定義的話，那就大概有數千家相關的創業公司遍布全球。甚至每一個在過去幾年中創立的科技公司，都願意把自己叫做一個AI公司，因為AI這個名字聽起來太時髦、太熱門了。
但是，我們确實需要小心辨識這些 AI 公司，看看它們是不是真正了解了和深度學習相關的先進技術，在我看來深度學習是AI最具革新性的一點，而且也是最直接影響到計算系統能力的一方面。
我一直都在追蹤這些真正的深度學習創業公司，大概全球有超過300家，我研究這些公司是因為從中可以發現這個領域重要的趨勢：哪些是比較重要的深度學習領域？他們都在哪些方面進行創新，以及他們如何看待未來？
首先，這334家公司大都在做嵌入式系統，還是在做雲軟體？實際上，其中三分之二都是在做雲軟體，因為這條路太順了，開發重要的新應用的成本也很低。有一半左右的公司是在做視覺相關，要麼就是雲上視覺，要麼就是嵌入式裝置的視覺。大概15-18%左右的公司是在做晶片。嵌入式系統相關的公司主要都在做視覺。而在視覺之外，還有許許多多的應用，我來大概講一下。
在這張表上有20個門類，比如深度學習平台、安防監測、人機互動界面、聲音語言服務、醫藥服務、自動駕駛、廣告營銷、無人機和機器人、視覺服務，晶片平台、物流與制造、金融和保險、CRM和HR，等等。那麼，哪些創業公司都在做哪個門類的工作呢？這些創業公司主要來自四個國家：美國、英國、以色列和中國。在美國，創業公司主要來自加州，還有馬薩諸塞州和紐約州。
我比較驚訝的是，中國的創業公司實際上并不多，我覺得原因就是中國的深度學習公司隻關注少數幾個領域，比如嵌入式系統、監控、人機互動界面、無人駕駛，做雲工作的相對較少。而就全世界來說，三分之二的公司都在做雲軟體，在中國隻有20%的公司在做。在全世界大概有一半DL創業都是在做視覺，而中國隻有17%。在23個我所追蹤的中國創業公司中，沒有一個做制造業，沒有一個做金融，也沒有一個做人力資源或者客戶關系管理方面的相關工作。也就是說，在中國的創業公司來說，這方面是一個空白。
在計算機視覺研究和一些創業企業的關系上，我們可以看到有一些公司他們處理得非常平衡，比如在美國、英國和中國，而有些地方并不是特别平衡，像以色列的計算機視覺研究就非常少，而創業公司卻很多。還有像德國、法國、日本，他們做了很多研究，卻沒有一定數量的創業公司。
我經常和這些創業公司交流，發現他們基本上使用四大戰略：首先要針對現有資料流做出更好的算法來，然後從中提取出新的資料，比如拿到了監控攝像頭的視訊流，就可以提取出時尚潮流相關的資訊。還有就是做出一些新的商業模式，并在一些新地方放置攝像頭，比如說在農業機器人裡裝一些攝像頭，這樣它們把除草劑準确地噴在雜草上，以減少大約95%的除草劑使用量。是以，這些方面的創新有許許多多的機會。
我們将生活在一個到處都有攝像頭的世界，包括系統中和經濟上的需求都會驅動本地智的發展，将有很多非常棒的神經網絡計算将會出現在邊緣側和雲上，也會有許多不同的硬體平台，在垂直應用方面也會有很多創業公司出現。特别是在中國，我認為将會看到更多公司去關心那些服務水準較低的市場門類，我也不建議創業公司都去做監控方面的相關工作。當然我們也要考慮在保護隐私性、安全性和穩健性方面所做出的重要權衡。
原文釋出時間為：2017-11-19
本文作者：AI WORLD 2017
本文來自雲栖社群合作夥伴新智元，了解相關資訊可以關注“AI_era”微信公衆号