編者按：「新變量」是汽車之心推出的分享智能汽車一線從業者洞察的專欄。以親曆者的視角，帶你預見智能汽車發展的關鍵變量。
特約作者 / 周彥武（業内資深專家）
編輯 / 汽車之心
立體雙目雖然一直處于非主流的地位，但仍有不少鐵杆支援者。
豐田、奔馳、本田、吉利、華為、博世、捷豹路虎、Rivian、鈴木、斯巴魯等都是這一方案的擁趸。
在造車新勢力當中，小鵬汽車新一代智能駕駛系統XPILOT 4.0 也将投入立體雙目陣營，改款的 P5、P7 乃至中大型 SUV G9 都會采用這一方案。
無獨有偶，2021 年 8 月，小米收購的Deepmotion，其創始人兼 CEO 蔡銳、CTO 李志偉、首席科學家楊奎元和研發總監張弛，均是亞洲微軟研究院出身，是微軟Hololens項目算法核心人物。
而微軟的 Hololens 項目，就是微軟在 2015 年的 AR/VR 眼鏡，核心就是立體雙目視覺。從這個角度看，小米的智能駕駛大機率也是以立體雙目為核心。
華為自動駕駛主要傳感器是 800 萬像素的立體雙目攝像頭和轉鏡式高線雷射雷達。
在極狐 αS（華為 HI 版）的前風擋玻璃下，有 4 顆攝像頭，最兩側是立體雙目 800 萬像素攝像頭，中間是 540 萬像素 100°水準 FOV 攝像頭，負責車前側。
如上圖，華為 800 萬像素立體雙目的水準 FOV 是 60°，但是對單個攝像頭是 30°。
這個較窄的 FOV使得探測車輛有效距離高達 500 米，小目标如行人或兒童乃至角錐是 180 米。
吉利即将上市的 KX11/EX11 平台，也就是星越 L（KX11）和領克 07/09（EX11），頂配都将使用剛剛被麥格納收購的 Veoneer 的第四代立體雙目系統。
網上圖檔絕大多數都是低配的單目系統，單目系統也是 Veoneer 的第四代單目，上圖是少見的頂配立體雙目車型。
小鵬和小米以及一系列自主品牌轉向立體雙目的原因有三點：
1）立體雙目比特斯拉為代表的單目、三目系統在安全性具備壓倒性優勢。
2）立體雙目可以自主掌握核心機密，而不是人人都可以輕松玩轉的深度學習。
比如國内大部分新造車勢力都是用英偉達的方案，英偉達提供了全套軟硬體乃至資料集。但英偉達也留了一手，無論是 Xavier 還是 Orin 都針對立體雙目做了硬核對應，也就是雙目立體比對硬核功能區。
立體比對隻是雙目的第一步，具體立體視差圖深度圖的應用也是核心技術，但英偉達并未參與，給車企留下了足夠的發揮空間。
3）立體雙目可以弱化對雷射雷達的需求，降低成本。
圖像識别與探測一體無法分割
由于硬體廠家的誤導，讓普通大衆以為算力與安全性成正比、與技術先進度成正比。
實際上，這毫無任何直接關聯，原因在于我們通常說的算力都是 AI 算力，也就是深度學習算力，更準确地說是卷積部分乘和累加的運算。
基于單目或三目的機器視覺，有着天然的無法改變的缺陷，這個缺陷表現為識别或者說分類與探測是一體的，無法分割，特别是基于深度學習的機器視覺。
也就是說，如果無法将目标分類（classification，也可以通俗地說是識别 recognition）就無法探測。
如果無法識别目标就認為目标不存在，與盲人無異——車輛會認為前方無障礙物，然後不減速直接撞上去。
什麼狀況下無法識别？有兩種情況：
第一種是訓練資料集無法完全覆寫真實世界的全部目标，能覆寫 10% 都已經是很不錯了，更何況真實世界每時每刻都在産生着新的不規則目标。
特斯拉多次事故都是如此，比如在中國兩次在高速公路上追尾掃地車（第一次緻人死亡），在美國多次追尾消防車。
第二種是圖像缺乏紋理特征，就像攝像頭面前放一張白紙，自然識别不出來是什麼物體。
某些底盤高的大貨車的側面在某一時刻或者一堵白牆，就是白紙一樣，基于深度學習的機器視覺此時就如同瞎子，不減速就直接撞上去。
此外，靜止目标對深度學習也是一個棘手的問題。
為了提高識别效率，機器視覺尤其是基于深度學習的機器視覺，需要先框選出運動目标，同時也為了防止誤判，必須将運動目标和靜止目标分開。
例如，有些道路兩側停滿汽車，運動目标的優先級自然高于靜止目标，然後再去識别，通常是背景減除、三幀法或光流法，有時需要 1-2 秒時間，然而事故可能就發生了。
這個問題的解決辦法，需要傳統非深度學習算法，特别是立體雙目和雷射雷達，可以做到不分類也能探測目标的資訊，無法識别就變瞎子的問題可以完美解決。
不過，這些技術掌握在豐田、奔馳這些真正的頂級大廠手中。
特斯拉在美國撞上翻倒的靜止的卡車
從本質上講，深度學習是一種高度通用且極為強大的曲線拟合技術，能夠識别出以往無法被發現的模式，推斷趨勢并針對各類問題給出預測性結果。
當然，曲線拟合在表示給定資料集時也存在一定風險，這就是過度拟合。
具體來講，算法可能無法識别資料的正常波動，最終為了拟合度而将噪音視為有效資訊，并且深度學習是個黑盒或灰盒，調參更像是藝術而非科學。
特斯拉在台灣撞上靜止的側翻的大貨車
再有就是毫米波雷達，目前量産車的毫米波雷達角分辨率太低，對金屬物體又過于敏感，為避免誤動作，所有的毫米波雷達都會将靜态目标過濾掉。
此外，毫米波雷達安裝的角度也很低，遇上底盤比較高的大貨車，可能會檢測不到。
即将上市的寶馬 iX安裝的大陸ARS540 4D毫米波雷達角分辨率高，且是目前唯一能真正測高度的毫米波雷達，不過濾靜态目标。
即便毫米波雷達不過濾靜态目标，以輔助駕駛的設計原則，甯漏檢不誤檢，恐怕也不會啟動 AEB。
特斯拉撞的靜止消防車和警車不勝枚舉，立體雙目就不會出現這種情況，它無需識别也可以探測障礙物 3D 資訊，還可以預測其行動軌迹。
圖檔來自豐田工業大學、電裝、SOKEN 的雙目研發成績彙報
雷射雷達的缺點是其點雲比較稀疏，即便是最強的Luminar 雷射雷達也難以和 100 萬像素的攝像頭比。
再有就是不同物體雷射反射率差别極大，同樣距離下，可能一輛白色車能探測到，一輛黑色車就探測不到。
再比如交通訓示牌，雷射雷達對其反射回來的高強度回波非常敏感，容易在點雲中形成「鬼影」和「膨脹」。這樣的點雲是不可用的。
還有空洞，「空洞」描述的是雷射雷達對于近場低矮障礙物的探測在從遠到近過程中「時有時無」的丢失現象。
障礙物原始點雲「時有時無」會讓感覺算法難以連續跟蹤，這容易導緻智能駕駛的急刹車或頻繁「減速加速」頓挫。
除了空洞，還有雷射雷達行業内部的術語「吸點」，這就是在近距離跟車時，車牌是強反射目标，與車體的低反射目标容易混淆，測距不準，形成盲區，稱之為「吸點」。
雷射雷達資料的稀疏性與非結構化，導緻傳統算法無法适應，深度學習這種測不準的黑盒子算法将雷射雷達深度資訊的高精度造成了衰減。
攝像頭的缺點是必須有足夠的紋理特征，比如顔色完全一緻的大貨車側面，平整的水泥路面等沒有紋理特征的目标，單目攝像頭會完全失效，等于盲人，就像看到了天空一樣，目中無人。
立體雙目雖然此時仍可以探測到目标，但深度資訊準确度會下降。
立體雙目某種意義上也可看做一個雷射雷達，其提供準确的深度資訊，視差圖可以轉換為點雲。
是以立體雙目與雷射雷達融合的效果最好，遠比其他種類的傳感器要好，單目通過深度學習可以估算深度，但準确度遠不能和測量模式的立體雙目比，兩者有天壤之别。
當然，單目能做到的，雙目也都能。
那為什麼特斯拉不用立體雙目？寶馬用了立體雙目為什麼又退出了？
——原因是太難用了。
奔馳和豐田在這個領域花費了大量時間來研發。
奔馳早在 1999 年就投入雙目的研發，2013 年才在 S 級上應用。
豐田大約也是 1999 年開始，直到 2019 年才開始在雷克薩斯上量産。
寶馬照搬德國大陸汽車的全套立體雙目解決方案，效果不理想，但沒有大改款的寶馬 7 系還是用的立體雙目。
特斯拉這種短平快的公司自然不願意多做技術累積。深度學習的免費資源很多，研發周期是雙目的 1/10，甚至 2/30。
從事深度學習的人至少是雙目的上萬倍，雙目人才奇缺，并且一切都要從頭做起，幾乎沒有免費資源。
國内除華為外，隻有中科慧眼能幫助車企量産立體雙目系統。
電裝最早的立體雙目用于自動駕駛的研究論文發表在 2001 年。【1】
奔馳則是 1996 年，沒有 20 年技術累積，很難用好立體雙目。【2】
立體雙目的後期處理算法幾乎沒有深度學習參與，大多基于純幾何的算法，這種人才罕見，一旦做成了，技術門檻很高，護城河很深。
而深度學習隻需要大量投喂資料，用大型資料中心訓練就可以，可以說除了資金門檻，沒有任何技術門檻。
上圖為奔馳的 Road Surface Freespace Segmentation 流程圖，奔馳為縮小運算量，提出Stixel概念，Stixel 算法将物體抽象成立在地面上的一根根的 Sticks,。
這些 Sticks 将圖檔分割成 Freespace 與障礙物。
Stixel 是一個細長矩形，寬度固定(3px, 5px,...)，高度與障礙物相同。
本質上，Stixel 是一種超像素抽象，介于像素與物體之間，在性能和算法複雜度上比二者有着明顯的優勢。
因為立體雙目具備 3D 深度資訊，是以光流法就比較适合立體雙目，特别适合目标追蹤。
當人的眼睛觀察運動物體時，物體的景象在人眼的視網膜上形成一系列連續變化的圖像，這一系列連續變化的資訊不斷「流過」視網膜（即圖像平面），好像一種光的「流」，故稱之為光流。
光流表達了圖像的變化，由于它包含了目标運動的資訊，是以可被觀察者用來确定目标的運動情況。
豐田隻用光流做自身位姿預測，實際就是配合 IMU 做 V-SLAM。
上圖為奔馳的光流法，奔馳用 Stixel 降低運算量，在量産車上也用了光流追蹤。圖上箭頭就是騎自行車人的 0.5 秒後的移動位置，右邊是 0.5 秒後的景象，可以與預測位置做一個對比。
藍色代表靜态目标。不僅能追蹤，預測位置，還能提供目标速度。
奔馳推薦四種光流算法，分别是稀疏KLT、Patch KLT、Census和稠密TV-L1。KLT 和卡爾曼濾波器配合比較好，稠密 TV-L1 的精度比較高。
顔色編碼示意圖如左，不僅包括了速度還包括方位角，對移動目标位置預測非常有用。
實際大衆和福特也是立體雙目的擁趸，上圖是福特與大衆合資的Argo AI的自動駕駛原型車。
路遙知馬力，時間将證明豐田、奔馳、華為、小鵬的立體雙目将會超越特斯拉。