智能座艙最理想的互動模式該是什麼樣的？

引言：本文作者李星宇為地平線生态發展與戰略規劃副總裁，是自動駕駛、人工智能晶片以及邊緣計算等領域的資深專家，擁有18年半導體行業經驗。作者将通過對人機互動發展趨勢的分析，及對國内智能座艙發展的洞察，得出以下關鍵結論：

未來最重要的人機互動趨勢是機器從被動響應走向主動互動，從人适應機器到機器不斷地适應人，終極目标是讓機器拟人化，圖靈測試是衡量标準。

人機共駕階段，人機互動能力必須跟自動駕駛能力相比對，否則會帶來嚴重的安全問題。智能駕駛和智能座艙的跨域融合是發展方向。

未來，實體螢幕和觸控将不再是座艙互動的中心，取而代之的是自然互動+AR-HUD。

語音、手勢和眼球跟蹤是自然互動的三闆斧，傳感器、算力和算法是物質基礎。

目前的座艙以娛樂域為主導，但未來座艙内娛樂域和安全域(人機互動和自動駕駛)的定位會調過來，安全域會成為主要制域。

智能座艙人機互動是中國智能汽車公司品牌向上的重要突破口。

以下為正文部分：

智能汽車是機器人的第一形态，對應的智能座艙也引領了機器人時代人機互動發展的新方向。曆史上，每一次互動方式的改變，都重塑了智能裝置的産業格局。正如DOS轉向Windows時代帶來的産業巨變一樣，人機自然互動打開了一道通向新産業的大門。

人機自然互動将改變我們對待智能汽車、泛機器人和人工智能的态度。人類最重要的發明是創造了語言體系，用于人與人的互動，帶來人類文明。

今天，人機自然互動可能是下一個基石性發明，其與機器的自主決策強結合，将帶來機器文明，重塑人與機器的關系，對我們的社會工作方式及生活方式等方面将産生深遠的影響。

人與機器的互動方式發展趨勢是什麼？

座艙的人機互動未來将走向何方？這個問題的答案，可能需要從智能裝置的發展曆史中去尋找。

計算機行業是人機互動技術發展的起源。實際上，人機互動一開始不叫HMI，而是HCI，即Human–Computer Interaction。PC的發展史廣為人知，下圖是一個簡單的發展階段劃分：

計算機人機互動最開始是DOS系統加上鍵盤，指令行界面的操作需要非常高的專業技能，隻有少數專業人員才能使用。

滑鼠與Windows作業系統的出現改變了一切，讓PC使用者呈爆炸性增長。接下來，觸控成為更簡單直接的操作方式，出現了Surface這樣的平闆電腦。而微軟小娜則代表了最新的互動方式，我們可以用語音這種更加自然的方式與機器互動。

PC和手機的發展史折射出機器與人互動方式的發展脈絡，那就是從複雜走向簡單；從抽象操作走向自然互動。未來最重要的人機互動趨勢是機器從被動響應走向主動互動。

順着這樣一個趨勢的延長線去看，人機互動的終極目标，就是讓機器拟人化，可以說：人機互動的發展曆史，是從人适應機器到機器不斷地适應人的發展史。

智能座艙的發展也經曆了類似的過程。

多模互動是下一代人機互動方式的理想模型。什麼是多模互動？簡單說，就是利用手勢、眼球跟蹤、語音等方式來進行互動。這裡的模态類似于人的“感官”，多模态即是将多種感官進行融合，對應人視覺、聽覺、觸覺、嗅覺、味覺五種感官。

但多模互動的命名太過技術化，我更願意将其稱之為：自然互動。例如手勢，可以說是原生的“滑鼠”，不同的手勢能夠表達豐富的語義。

典型的手勢語義以及對應的實作方式

自然互動實作方式是什麼？

智能汽車本質上是載人機器人，機器人最重要的兩項能力是自主決策能力和人機互動能力，缺乏其中任何一項，就無法有效地為人類服務。是以打造智能的人機互動能力是其必選項。

如何衡量人機互動的智能化程度呢？我的一個思考是使用圖靈測試，即機器能否在互動行為的表現上和人無法區分。

如何實作自然互動呢？傳感器、算力和算法缺一不可.

座艙内會融合越來越多的傳感器，一方面會使座艙内算力需求不斷飙升，座艙裡的AI算力需求将上升到30 TOPS以上，甚至達到百TOPS級别的水準。另一方面座艙也提供了更好的感覺能力支撐。

座艙傳感器在數量和種類上都在迅速提升

AI計算能實作人臉、表情、手勢、語音等多資訊的感覺，進而實作更加智能的人機互動。座艙人機互動的計算必須依賴邊緣計算，而不是雲計算來實作。因為三點：可靠性、實時性和隐私保護。

個人隐私保護可能是我們這一代人在AI時代面臨的最大挑戰之一，座艙内的私密空間，隐私保護問題更加突出。

今天的語音識别，絕大部分仍然是在雲端進行的，其中的聲紋等生物資訊可以輕易暴露個人身份。通過在車端進行邊緣AI計算，可以将視訊、語音等個人生物資訊去除，轉化為語義資訊，再上傳到雲端，可以有效保護車内個人資料隐私。

自動駕駛時代，互動智能必須跟駕駛智能相比對

在可以預見的未來，人機共駕都會是長期存在的狀态，座艙内的人機互動是人了解自動駕駛能力的第一界面。

目前智能汽車技術存在進化不均衡的挑戰，人機互動能力落後于自動駕駛能力的發展，導緻自動駕駛事故頻發，影響了自動駕駛的普及。

人機共駕的特點是人在駕駛回路中（Human In the Loop），是以，人機互動能力必須跟自動駕駛能力相比對，否則帶來嚴重的預期功能安全問題，幾乎所有的自動駕駛緻命事故都與此有關。

即使不發生事故，對自動駕駛狀态的不了解也會讓人産生嚴重的恐慌和焦慮。

例如，自動駕駛系統在實際駕駛工況中，經常出現“鬼刹車”的情況。如果人機互動界面能夠顯示自動駕駛的感覺結果，司機就可能會明白系統誤判是由于把路上的一個易拉罐識别成了一輛車導緻的。

為什麼特斯拉把越來越多的自動駕駛感覺結果展示出來，背後的出發點就是這一原因。随着自動駕駛的能力越來越強，使用者将越來越關注自動駕駛系統在虛拟3D環境中呈現的過程和狀态。

人機互動與自動駕駛發展相輔相成，例如，未來更為人性化的泊車應該是人車共泊的，包括人對車的接管和車對人的接管。比如車遇到困難路況，可能會說我不太有把握，請求接管。再比如人遲遲停不進去，AI算法推薦是否開啟自動泊車。

這種艙泊一體的方案能提升智能座艙互動和泊車的整體體驗，還能大幅節省硬體成本：通過分時複用AI晶片的資源，可以同時滿足座艙感覺與APA泊車感覺的需求，進而為行業提供高成本效益方案。也可讓智能化下探到更多中低端車型。在國内，地平線和映馳科技合作，正在推進這一方案開發。

目前，智能座艙的互動方式主要還是手機安卓生态的延伸，主要由實體螢幕來支撐。今天螢幕越變越大，甚至達到60寸，這實際上是用低優先級的功能占據了高優先級功能的空間，還帶來額外的資訊幹擾，容易讓人分心，影響駕駛安全。

實體螢幕在未來依然會存在，但我有一個判斷，未來，實體螢幕和觸控将不再是座艙互動的中心，取而代之的是自然互動+AR-HUD。

第一個原因是面向自動駕駛的人機互動，屬于溫飽問題，是剛需，屬于安全域，有最高優先級。而面向音樂、遊戲和舒适性的人機互動是小康需求，屬于娛樂域，在實作了前一階段任務後才能有足夠的施展空間。

是以，未來座艙内娛樂域和安全域(人機互動和自動駕駛)的定位會調過來，安全域會成為主要制域。

第二個原因是因為自然互動方式+AR-HUD的互動界面更加安全，例如通過語音和手勢交流，可以避免駕駛員視線偏移，進而提升駕駛安全，而座艙的大屏是無法做到這一點的。相比之下，AR-HUD可以做到在顯示自動駕駛感覺資訊的同時避免了這個問題。

第三個原因在于自然互動方式是隐形的、簡約的、更加情感化的互動方式，不會過多地占用車内寶貴的實體空間，但卻可以做到随時陪伴在身邊，給予駕駛員及乘客更多的信任感、安全感。

綜合以上分析，未來智能駕駛和智能座艙的跨域融合是較為确定的發展方向，最終誕生的就是車載中央計算平台。

目前發展階段、前沿實踐以及挑戰

目前，座艙的語音識别基本已經普及，語音識别主流廠商主要使用端到端算法，在理想實驗環境下語音識别準确率可高達98%以上。

DMS正在急速普及，預測至2030年裝備車内攝像頭的車型占比将超過50%。

下一步将是語音+手勢+眼球跟蹤+AR-HUD互動界面的組合，這是對應于L3+級别自動駕駛的智能互動方式，業内領先的車企已經開始布局。

中國自主品牌在這一塊的實踐基本上跟國外領先品牌是并駕齊驅的，從疊代速度上看還要更快。

2020年，長安推出UNI-T車型, 包含多項主動服務。比如：如果你正在接聽電話，系統會自動降低多媒體音量；再比如，當車機中控屏處于熄屏狀态時，注視螢幕一秒即可喚醒螢幕。該方案搭載了地平線的征程2晶片，支援通過語音、動作姿态、面部表情等指令的互動。

理想中的自然互動目标是從使用者體驗出發，需要提供穩定、流暢、可預期的互動體驗。但理想再豐滿，也得從骨感的現實起步，目前挑戰依舊衆多。

例如，目前自然互動的誤識别情況依然嚴峻，全工況、全天候的可靠性和準确率還不夠。再比如手勢識别，也許你不經意間動一下手勢，就會被誤識别為一個指令動作，這隻是無數種誤識别情況之一。

此外在移動狀态下，光照、震動、遮擋等等都是巨大的工程挑戰。自然互動的流暢度也是亟待解決的問題，這需要更高性能的傳感器、更強大的算力和高效算法來逐漸改善。而同時自然語言了解（NLP）和意圖了解依然處于早期階段，還需要算法理論創新。

人機自然互動會是機器人時代的基石性發明

在當下激烈的行業競争中，智能座艙已經成為整車廠實作功能差異化的關鍵一招，座艙人機互動與人的溝通習慣、語言文化等密切相關，是以必須是高度本地化的，智能座艙人機互動是中國智能汽車公司品牌向上的重要突破口，更是中國智能汽車技術引領全球技術潮流的突破口。

智能座艙産業鍊将持續延伸，會有更多玩家進入到智能汽車這個大生态中，智能汽車玩家也會跨界進入更多的機器人領域，未來智能座艙生态圈發展主題将圍繞“生态協同”與“跨界延伸”展開。

這場科技革命将産生颠覆性影響，不僅将開啟一個全新的産業生态，更對我們的社會工作方式及生活方式等方面産生深遠的影響。