計算機視覺在智聯網汽車領域的應用

摘要：2019雲栖大會大咖有約，斑馬網絡進階技術總監張燕昆帶來“計算機視覺在智聯網汽車領域的應用”的演講。本文主要介紹了AR-Driving2.0産品的三個特性，并從AR-Driving立項開始談起，講解了AR-Driving項目遇到的問題，并對AR-Driving3.0作出了展望。

直播回放請點選

以下是精彩視訊内容整理：

斑馬主要是一個做智慧出行的智聯網汽車技術公司。目前，自動駕駛異常火熱，但是斑馬做的事情與自動駕駛是有差別的，汽車攝像頭有對外和對内的攝像頭，對外攝像頭有一個前視攝像頭，我們不是去做安全域的ADAS，而是用行車記錄儀的攝像頭來做一些産品，另外還有倒車輔助用的前體360環視影像，我們利用360環視影像做智能輔助的東西。對内攝像頭常見的是做DMS和Face ID。

AR-Driving

斑馬在2017年從事AR-Driving的開發工作，在2018年産出了全球首款AR-Driving1.0産品，在2019年8月産出了AR-Driving2.0産品。

AR-Driving即所謂增強現實中的技術應用到增強導航中，簡單的說，是将大家開車應用的地圖導航的資訊疊加成增強導航，2.0中還有增強的ADAS和增強的POI。

斑馬AR-Driving2.0産品有三個features，AR-NAVI、AR-ADAS和AR-POI。增強導航就是，當大家開車開到很複雜的十字路口時，前面有左轉、右轉、前方、左前方、右前方，如果你是第一次開過去，傳統導航提示你左前方時，你是很容易迷糊的，因為有6條岔路口，不容易變道，但是如果把傳統導航和圖像識别結合起來，我們做了一些地面語義分割，然後融合IMU資訊做定位，就可以精确的把你引導過去；

AR-ADAS跟傳統的ADAS差不多，但是我們更直覺，我們把它放到AR這種方式來呈現，比如壓線、前方車輛啟動提醒、前方碰撞提醒，可以很直覺的在視訊上顯示出來；AR-POI就是感興趣點。我們是一個車聯網公司，我們要做生态，我們還做了駕駛員的身份驗證，即Face ID，比如你買車，上車後會自動識别是你開還是你夫妻或是親戚開，可能你喜歡星巴克的咖啡，你夫妻喜歡Costa的咖啡，當你開車到了某條街，如果我們能自動判别是你還是你夫妻開車，我們就可以把星巴克或者Costa的店很自然的推薦給你，這樣我們就形成了一個生态閉環。

AR-Driving立項及遇到的問題

大家可能對自動駕駛比較感興趣，早些年我們也做過自動駕駛，但是我們是創業公司，主要做産品，我們要保證做的東西能夠迅速落地到産品上去，對于我們來說，計算資源是一個很大的瓶頸。2017年，我們做AR-Driving時，我們接到上汽的一款車，它所用的晶片是J6P，即雙核+兩個800M的DSP，其中一個DSP給360環視用掉了，剩給我們所有計算機隻有一個DSP，一個DSP把AR-Driving做出來還是很難的，現在深度學習非常火，但是複雜的深度學習模型在這個配置下運作是不太現實的，我們巧妙的把傳統的計算機視覺算法和深度學習算法做一個互補。

我們為什麼沒有做AR-Hud，而轉而做AR-Driving，是因為AR-Hud的硬體不成熟，以及成本比較高，對于國内10-20W的車來說，成本特别高，是以AR-Hud大多都裝配在豪華車上。上汽當時給我們的汽車隻有行車記錄儀的攝像頭，要求我們做一個AR-Hud的東西，我們的産品就想到了折中方案，将AR-Hud的硬體拿掉，改為在儀表上進行顯示，我們當時經過了多次讨論，還是接了這個項目，做這個項目遇到了很多瓶頸，比如将我們的算法一開始放到車上的平台上，每秒隻能跑到3幀，相當于300ms，因為我們要達到實時處理，這對我們形成了巨大的壓力，産品都到外面去找方案，把很多創業公司的算法拿過來做比較，評估後發現我們的硬體根本不能跑這些算法，主要是就是這些算法對硬體要求比較高。于是我們對自己之前的算法進行了大量的優化，還把TI的專家直接請到公司做教育訓練，在TI晶片上進行算法優化。到2018年8月份，我們做出了Marvel X上的系統，很多人認為Marvel X隻是一個噱頭，因為它隻是做了一些簡單的導航，這是因為計算能力受限制，這款車一釋出，在業界就引起了轟動，很多大公司都在跟随我們在做，有的做的很複雜，有的做了單獨的盒子，車廠對成本是非常看重的，如果你想推一個上千塊的東西，是很難的，我們給車廠做東西，都是車廠确定硬體，然後告訴我們要幫他們做什麼，而不是我要做什麼，車廠就會提供給我們什麼樣的硬體，尤其現在各大車廠都在降成本，這個情況就尤為突出，我們既要考慮技術的先進性，又要考慮技術能不能産品化。

AR-Driving的思考與展望

AR-Driving1.0一釋出，在業界引起了轟動。上汽等其他車廠也意識到硬體資源問題，開始逐漸将一些硬體資源給了我們做AR DRIVING，我們自己也把360環視做了，這樣就可以很好控制它的資源占用，對我們來說，兩個DSP同時任我們切換排程，就可以最大化利用車廠給我們的硬體資源。于是，我們就從去年就開始做了AR-Driving2.0，并于2019年8月在上汽的一款車上正式釋出了。

下一步我們想對存量車來做，現在晶片研發很熱，阿裡、華為等都積極研發并推出了一些晶片，車分為前裝和後裝，AR-Driving3.0偏向于後裝，現在行車記錄儀或後視鏡的計算能力是很強的，AR-Driving3.0将會使用更多的目前流行的深度學習方法，AR-Driving3.0可以提供更加豐富的道路環境的語義資訊，這些資訊可以提供給圖商做實時地圖更新，同時我們我也可以做更加豐富的生态閉環。