在過去的二十多年裡，自動駕駛技術取得了顯著的進展，一些高度自動化的車輛已經問世。前不久，我們曾分享過一項涉及了解複雜指令的機器人實驗。如果基于大型語言模型（LLM）能實作了解和執行自動駕駛汽車的口頭指令，将不再局限于簡單的“你好XX，打開天窗、關閉空調”之類的指令，而是涉及到真正操縱汽車在道路上行駛的複雜指令，那将是一種何等神奇的體驗。
本文作者介紹了自動駕駛架構 Talk2Drive ，該架構利用 LLM 來解釋和回複人類的各種指令，尤其是那些抽象或具有情感色彩的指令，同時利用曆史互動資料來實作個性化的駕駛體驗。與傳統系統需要精确輸入的情況不同，Talk2Drive 架構允許與車輛進行更自然和直覺的交流。
本文将深入探讨LLM在自動駕駛決策中的作用，并讨論車輛配置、感覺系統和通信裝置等技術，以及這些技術如何共同助力車輛在真實道路上實作自主導航。
論文題目:
Large Language Models for Autonomous Driving: Real-World Experiments
論文連結:
https://arxiv.org/abs/2312.09397
LLM 結合自動駕駛的優勢
與傳統系統相比，LLM 在自動駕駛方面具有以下優勢：
- 對抽象表達的了解：傳統系統在了解人類的抽象指令方面存在困難，而 LLM 能夠了解和适應各種人類情緒和上下文線索。
- 個性化駕駛體驗：LLM 能夠根據人類的曆史偏好和指令提供個性化的駕駛模式，進而提高駕駛體驗。
- 實時性和安全性：LLM 在處理複雜人類指令時有較低的延遲，這對于實時應用和安全關鍵場景至關重要。
Talk2Drive 架構
Talk2Drive 架構是一個創新的自動駕駛規劃和控制任務方法，将基于雲的大型語言模型（LLMs）與實際車輛動力學相結合，以個性化的方式響應人類輸入，如圖 1 所示。
▲圖1. Talk2Drive 架構結構
指令翻譯和上下文資料內建
這是架構中的第一步，確定了使用者口頭指令的準确翻譯，并通過整合實時環境資料，使得系統能夠更全面、智能地了解和處理這些指令。
Talk2Drive 架構首先通過先進的語音識别技術識别人類的口頭指令。口頭指令經過翻譯，被轉換成文本指令 ，這一步驟的關鍵在于確定口語的内容和細節能夠準确地被轉換為文本格式。同時，LLM 通路基于雲的實時環境資料 （其中包括天氣更新、交通狀況以及本地交通規則資訊等），這些內建的上下文資料以文本格式呈現，并在決策過程中發揮着關鍵作用，確定系統的回複能夠充分考慮到環境的背景資訊。
基于 LLM 處理和推理
在這部分中使用 LLM 處理和推理文本指令，這是架構中的關鍵步驟，使系統能夠了解複雜的、上下文豐富的指令。LLM 在推理過程中解釋這些文本指令 。這一步驟的目标是讓 LLM 了解使用者的指令，并做出相應的決策。此外，LLM 還可以結合上一步提供的上下文資料 。
生成可執行代碼
LLM 推理過程的輸出是可執行代碼，該代碼用于規劃和控制車輛行為。該步驟受到“代碼即政策”概念的啟發，生成的代碼不僅僅是一系列簡單的指令，它們涉及到需要在車輛底層控制器中進行的複雜駕駛行為和參數微調。這包括控制參數的微調（如前瞻距離和前瞻比率），此外，代碼還會根據駕駛員的口頭指令修改車輛的目标速度。
自動駕駛車輛中的代碼執行和回報
這一過程實作了從語言模型生成的代碼到實際駕駛行為的轉換，并通過安全檢查保障了整個過程的可靠性和安全性。
LLM 生成的代碼 通過雲端發送回車輛的電控單元（ECU），并在 ECU 中執行。Talk2Drive 架構為生成的代碼設定了兩種安全檢查：
- 首先檢查生成代碼的格式是否有效，如果代碼不符合有效格式，架構将不提供與生成代碼相關的回報或行動，這確定了生成的代碼在結構上是正确的，以避免可能的錯誤。
- 另一個安全檢查涉及參數驗證，評估給定參數在目前情況下是否合适和安全。這一步驟有助于防止執行可能帶有危險的代碼，保證生成的代碼對車輛是合适和安全的。
代碼的執行涉及調整車輛規劃和控制系統中的基本駕駛行為和各種參數。執行器通過 CAN 總線和電控驅動系統控制油門、刹車、擋位選擇和轉向，如圖 2 所示。這確定了由 LLM 生成的代碼能夠準确指導車輛執行相應的駕駛行為。
▲圖2 自動駕駛功能子產品和消息流
存儲器子產品和個性化
這一子產品為 Talk2Drive 架構引入了個性化的駕駛體驗，通過記錄、分析和利用曆史互動資料，使系統更智能地适應使用者的駕駛偏好。這種新型存儲器子產品，其目的是存儲人與車輛之間的曆史互動 ，重點在于提升個性化駕駛體驗。
每次人與車輛之間的互動都會被記錄并儲存到 ECU 内的文本格式的存儲器子產品中。記錄包括人類的口頭指令 、LLMs生成的代碼 以及人類的回報 。存儲器子產品中的曆史資料在每次行程後都會被更新，每次與車輛的互動都被實時記錄，以反映使用者與車輛的最新狀态和偏好。
如果使用者對相似的指令有不同的反應，LLM 将以最近的回報作為其目前決策過程的參考點，這能夠滿足使用者可能會變化的偏好。當使用者發出指令時，LLM 會通路存儲器子產品，并将存儲的資訊 作為決策過程輸入提示的一部分。
軌迹跟蹤
車輛的駕駛軌迹是通過記錄一系列路徑點生成的，這些路徑點表示車輛在局部坐标系中的位置資訊，構成了車輛的預定行進路線。軌迹跟蹤子產品的主要功能是使車輛能夠按照指定的路徑點序列導航。它通過加載所選軌迹 啟動整個過程。
系統會不斷檢查車輛的目前狀态 與目前目标路徑 ，計算它們之間的距離，被稱為前瞻距離 。這個前瞻距離用于判斷車輛是否足夠接近目前路徑點。
- 如果車輛離目前路徑 足夠近，則目前目标路徑将更新為下一個路徑點。
- 如果車輛與目前目标路徑點的距離未達到設定的最小距離，系統将通過純追蹤算法繼續導航到原始的目前目标路徑點。
将上述過程重複直到車輛到達最終路徑 ，此時算法結束。
▲圖3 軌迹跟蹤流程圖
作者在自動駕駛系統中采用了純追蹤算法作為路徑跟蹤方法。它的輸入包括目标路徑點、前瞻距離和期望速度，生成用于車輛控制的輪轉角和目前加速度。純追蹤算法的核心思想是利用前瞻距離、轉彎半徑和前瞻點的方向角來計算前輪轉角，然後使用計算得出的前輪轉角和期望車速來實作對目标路徑點的跟蹤，如圖 4 所示。
▲圖4 純追蹤路徑跟蹤算法的示意圖
實驗
▲圖5 實驗中真實自動駕駛車輛的設定
自動駕駛車輛平台的傳感器套件和連接配接設定如圖 5 所示。實驗測試賽道如圖 6 所示，測試的指定軌迹形成了一個矩形環，包括一個長直道，可以進行持續速度和控制評估，以及每個拐角處的彎道。
▲圖6 實驗場地的地圖
在實驗中将受試者劃分為三個組，這些組内的成員在駕駛行為上有相似的趨勢。接着，受試者被要求按照三個級别制定指令（直接政策、習慣性間接政策和非習慣間接政策）。通過 Talk2Drive 架構進行處理，架構初始化軌迹跟蹤子產品。每個指令使用四種不同的語言模型進行處理，收集速度和反應延遲等資料點，然後計算評估名額。為了建立速度差異和速度方差的比較基準，還要求不同組的人類駕駛員在相同的軌迹上駕駛，并将其資料的平均值作為 baseline 值，表 1 展示了這些評估名額的具體數值。
▲表1 Talk2Drive 在不同 LLM 模型和指令類别下的結果
- 了解能力： 使用速度差異來評估 LLM 模型了解間接指令的能力。在架構中測試的所有 LLM 都能夠了解不同速度意圖類别的速度指令，并将其準确轉換為執行代碼，成功率達到 100%。
- 舒适性： 為了評估舒适性水準，測量了速度方差和加速度。結果顯示，速度差異和平均加速度未顯著超過 baseline，而平均加速度降低不超過“優秀”駕駛體驗的建議門檻值。這表明通過 Talk2Drive 進行的速度調整對駕駛舒适性沒有顯著影響。
- 延遲： 考慮了從初始化 LLM API 調用到成功接收指令文本的持續時間。結果顯示，GPT-3 具有最短的延遲，可能是由于其較小的模型大小。GPT-4 和 PaLM 2 稍慢，其中 GPT-4 具有更穩定的延遲，這也可能和使用者數有關。
驗中對內建Talk2Drive前後的接管率進行了評估，通過模拟不同駕駛風格的人類駕駛員，模拟了各種駕駛場景。當駕駛員認為軌迹跟蹤子產品的預設速度設定過快或過慢時，他們會接管車輛。如表 2 所示，Talk2Drive 的內建使駕駛員能夠以更直覺、更個性化的方式與系統進行互動，通過口頭指令傳達他們對速度的偏好。這種能力的提升在實際駕駛場景中展現為明顯減少的接管率，表明系統更好地适應了駕駛員的偏好，提高了整體的使用者體驗。
▲表2 接管率的比較分析
同時，還顯示了引入記憶子產品顯著降低了接管率，這說明了曆史記錄子產品在實作更個性化的駕駛體驗方面的好處。
總結
本文展示了 LLM 在 Talk2Drive 架構中的創新應用。實驗結果表明，Talk2Drive 架構使自動駕駛汽車能夠高效了解和執行複雜、上下文豐富的人類指令，為駕駛體驗提供更高水準的個性化服務。這也标志着 Talk2Drive 成為首個在真實自動駕駛車輛上成功部署 LLM 的架構，并以 100% 代碼執行成功率為自動駕駛技術樹立了新的裡程碑。
然而，實作在真實場景中通過 LLM 操控汽車進行複雜行駛仍然具有挑戰性，涉及反應速度和指令解讀的能力，同時需要確定資料的安全性。我們期望在未來的研究中，能夠深入探索與其他智能交通系統和物聯網裝置的緊密內建，旨在建立一個更智能的城市移動網絡，以共同創造一個更智能、更高效的城市移動網絡。期待自動駕駛技術的進一步發展，為未來的出行帶來更便捷、安全、個性化的全新體驗~