複雜的中國駕駛場景，正是深度學習的優勢◆ ◆ ◆◆ ◆ ◆◆ ◆ ◆

導讀

深度學習十分适合高度複雜場景下的自動駕駛應用，尤其與增強學習相配合，能讓從感覺到執行的過程變得簡單。

谷歌和李世石的人機大戰引爆了公衆對于人工智能的關注，也讓基于深度學習的人工智能成為汽車業界關注的重點，那麼深度學習在智能駕駛的應用場景下有什麼幫助呢?

自動駕駛最先出現在美國，而不是歐洲或者日本，更不是中國，非常關鍵的一個原因在于，美國的駕駛環境相對于其它地區而言，是最簡單的，無論是道路情況還是駕駛習慣。這就意味着，開發一個自動駕駛原型産品的技術難度可以大大降低。

這種高度複雜的場景很難用有限的規則來定義清楚，是以傳統的算法的表現往往無法滿足自動駕駛的要求，而深度學習非常适合在複雜場景下的自動駕駛應用。如果這個場景足夠簡單的話，深度學習并不能表現出相對于其它基于傳統模式識别方法的優勢。

更具體一點來講，對于非結構化資料的識别、判斷、分類是它的優勢所在。圖像、語音都是非結構化的，而像 excel 表格上的資料，我們稱之為結構化的資料。自動駕駛所面臨的環境，如果表達出來，正是非結構化的資料，深度學習可以很好地處理這種場景。

深度學習的前沿技術

深度學習的發展其實有很長的曆史，它的原理從上世紀五十年代末期就已經出，80 年代在手寫體數字的識别方面取得相當的成就，并應用于美國的郵政系統。但其真正崛起還是在十年前開始的。

這裡面其實是有時代的大背景的因素，這個時代提供了深度學習兩個最關鍵的助推引擎：大資料和高性能處理器。深度學習非常适合利用大資料提高性能，随着用于訓練的資料量不斷增加，深度學習的性能也得到持續的提升。

事實上到目前為止，我們還沒有發現其性能提升的上限。這是深度學習目前受到關注的一個非常重要的原因。過去很難獲得如此大量的資料，也缺乏足夠強勁的計算平台，而今天随着物聯網的發展，據擷取已經不再是問 題。另一方面，着單個處理器的性能進入 tflops 時代，深度學習所需要海量計算已經在經濟上變得可承受了。谷歌的 alphago 的計算能力是當年擊敗國際象棋冠軍的 ibm 深藍的三萬倍。要知道當年的深藍可是大型機，成本不是一般應用可以承受的。

從 2012 年 hinton 和他的學生 alex 在國際上權威的圖像識别領域 imagenet 比賽奪冠以來，深度學習目前已經可以達到 97%的識别準确率，超過普通人的 95% 的識别準确率。機器視覺的識别能力超過人類，這是人工智能領域了不起的成就， 而這一切在僅僅 4 年的時間内就實作，則更凸顯了深度學習的潛力和業界的研究 熱潮。深度學習還在持續擴充其潛力，在人臉識别方面的準确率可達 99.5%以 上（基于 lfw 資料庫）。

很多人也會問，到底深度學習是一個什麼樣的東西？要用簡單的話解釋清楚其實是一件很有挑戰性的事情，它涉及很多較為抽象的基礎知識，比較形象地描述：深度學習其實是對人的大腦識别機制的模拟。

舉個例子，我看到對面走來一個人，瞬間就可以判斷出這個人是我的同僚。眼睛擷取的影像有幾十萬像素， 需要上百萬位元組去描述，而大腦經過處理後，可以将它簡化為幾個位元組，就是同僚的名字。人的大腦可以非常高效地處理海量的非結構化資料，把其中的内容識别出來，用極其精簡的資訊去描述。這也正是深度學習的本質——把複雜資訊精簡地表達出來。

技術化的描述是：基于資料驅動的、自動學習要模組化的資料的潛在（隐含）分布的多層（複雜）表達的算法。目前深度學習使用最多的模組化技術是多層卷積神經網絡，并建立大量的隐含層（可達上百層）。

這個技術出現已經很久了，但在此之前一直表現不好，那個時候大家都是在小規模樣本下進行的，對于參數的調整非常困難。深度學習一個最大的突破就是，将參數的計算自動化，人不再進行幹預，而是讓它通過大量的資料學習，自己确定這個參數。

深度學習的技術也在快速演進，比如 lstm（長短期記憶模型）的使用，賦予深度神經網絡儲存狀态的能力。也就是，我們将賦予機器記憶的能力。

它的用途在哪裡呢？拿玩遊戲來說。比如射擊類的遊戲，目前基于深度學習和增強學習的人工智能系統可以有非常出色的表現，因為它不需要記住過去的遊戲狀态，而當機器玩一些政策類遊戲 的時候，比如星際争霸，沒有記憶能力導緻它無法進行長時間跨度的政策規劃，與人的表現就相差甚遠。

lstm 使得深度神經網絡從一個二維空間網絡變成了一 個時空結構的網絡，即在時間尺度上也表現出深度，結果就是機器不需要從頭開始認知，而是把過去和現在連接配接在一起，規劃下一步的行動。顯然，這讓大型的政策類遊戲成為機器的下一個征服目标。上周傳出消息 alphago 要在今年内對戰柯潔，期待一下 alphago 的下一次驚豔出場吧。

深度學習的注意力模型也是一個技術熱點，它是對整個場景進行語義級别的了解，可以讓機器鎖定圖像中我們需要關注的部分。在未來幾年，這些技術可以讓機器了解視訊流，并将其轉化為直接的語義述。這麼說吧，結合上面的技術，機器可以跟你一起看電影，并分享對于電影的了解(單身狗的福利呀，一個人去電影院也不會感到寂寞了，隻要帶着你的機器寵物一起去) 。

總體來講，具備深度學習能力的裝置就好像是一個有生命力的機器，它會随着資料訓練的過程逐漸成長，它的本領是可以持續提高的，而且這種本領可以被複制到另一個裝置中。

深度學習與增強學習雙管齊下通往自動駕駛

深度學習對感覺有非常強的能力，可以了解各種複雜圖像的含義，但是它并不能把這種感覺轉化為決策能力。增強學習就是用來解決這個問題。

如果打個比方的話，增強學習借鑒了馴獸員的方法，不教動物們任何規則(當然也教不會呀)， 一開始讓動物們随便地做各種動作。當其中有一個動作是符合期望的時候，立即給它們好吃的，就是增強了它們繼續這個動作的動力。随着訓練時間和次數的增加，動物們就會真的在頭腦裡建立一個規則：做某個動作可以得到好吃的。因而，将其稱之為「增強（reinforcement）」學習的原因。

某種意義上，這也借鑒了管理學上的結果導向的理念，有兩個關鍵點：第一，隻看重結果，不關心過程或者動機；第二，對于每一次行動，及時獎懲，強化認知。

自動駕駛的整個系統，一般來說由三個層級組成：感覺層、規劃決策層和控制執行層。深度學習和增強學習結合的結果，會使得感覺和執行以前所未有地方式真正緊密地結合在一起，完成自動駕駛。

1.感覺

感覺層的任務是完成環境态勢感覺，這個是自動駕駛的核心環節。在自動駕駛中，任何執行動作都要以了解整個駕駛環境為前提。這裡面分為兩層：車外環境和車内環境。

對于車外環境，首先是多種傳感器的輸入，比如多攝像頭、毫米波雷達以及雷射雷達等，通過融合映射到一個統一的坐标系中，這些圖像資訊需要進行物體的識别和分類，比如車道、路肩、車輛、行人等等，這正是深度學習的優勢。利用深度學習，在計算系統中重構出來一個 3d 環境，這個環境中的各個物體都會被識别并了解。

對于車内環境，是指對車内駕駛員的感覺，包括其疲勞程度、駕駛意圖等，這将給後面的決策控制提供決策基礎資訊，如疲勞檢測系統在檢測到駕駛員進入嚴重的疲勞狀态後，自動将駕駛狀态從人工操控轉為自動駕駛。

2.局部路徑規劃

這裡需要對整個車外環境中車輛、交通狀況和行人等的意圖或者在一段時間内的行為進行預測，再根據本車的狀态和意圖，結合前面的環境感覺結果和高精度地圖提供的道路資訊等，規劃出最佳的行駛路徑，這個規劃需要可以滿足駕駛意圖，并對周圍的車輛友好、安全。

通過積累大量的資料進行足夠的訓練，基于深度學習的系統可以給出最優規劃。當然，這種規劃不能單純依賴深度學習的預判，它必須和交通規則的專家系統，以及其它高可靠性手段結合，才可以達到實用。例如 v2x 的普及，會使得本車可以在超視距範圍内，精确地擷取周圍車輛的位置、速度以及駕駛意圖（轉彎/變道）等。

3.決策控制

在路徑規劃确定後，自動駕駛系統需要進行本車意圖決策，比如什麼時候進行超車、什麼時候轉彎、選擇什麼時機進行變道是最優的等等。自動駕駛系統需要學習人類開車的習慣，學會如何在複雜的會車場景下進行操作、保持合理的車距等，更進一步地，學習主人的開車習慣，在滿足安全性的前提下，盡量使自動駕駛的風格與其開車行為相适應，提供更好的使用者體驗，并優化自己的駕駛效率。很顯然，這裡增強學習是非常适合的技術。

目前，前沿的研究人員正利用深度學習和增強學習開展一些非常炫酷的功能，例如完成從原始傳感器資料到實際動作執行器的直接過渡。

在今年的 ces 展上，豐田展示了一套類似的自動駕駛示範系統，在一塊布有障礙并有訓示方向的方形地形中，8 輛沒有駕駛經驗的模型車，将傳感器監測到的環境資訊輸入深度學習系統，并将深度學習系統與油門、制動和方向輸出連接配接。經曆約 4 個小時的學習後， 基本實作了零事故。

自動駕駛的測試是一個非常耗時、費錢的工作，谷歌累計的自動駕駛實際道路測試裡程已經超過 100 萬英裡，如何更高效地測試也是自動駕駛領域的一個關鍵問題。

從理論上講，我們可以用計算系統去模拟實際道路的情形，如果我們可以對道路上的各個要素進行準确地模組化， 并且模拟這些要素的行為，例如超車、刹車、變道。利用蒙特卡洛模拟，配合增強學習的技術，就能建構一個自主運作的系統。這個系統本身在不需要耗費一滴汽油的情況下，産生大量的模拟場景，發現自動駕駛原型的各種缺陷，并獲得大量的資料。就像谷歌訓練它的 alphago 一樣。

小結

去年 10 月，豐田宣布投入 10 億美元，設立一家專注于研發人工智能的新公司 toyota research institute，希望打造像人類一樣會自己「思考」的、可以應對突發情況的汽車， 讓自動駕駛技術更加可靠。

去年年底，豐田還投資了 preferred networks，另外一家深度學習領域的初創公司，通用則直接收購了初創公司 cruise automation，隻要看名字你就知道這家公司是幹什麼的。

真金白銀的投入，其背後折射出的是車廠對于深度學習技術的認可。奧迪在 2015 年首次在美國從矽谷自動駕駛至拉斯維加斯測試其基于 a7 的自動駕駛汽車時，就明确表示：“自動駕駛的關鍵是深度學習”。

原文釋出時間為：2016-06-09

本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号