7月5日消息，理想在今晚的智能駕駛夏季釋出會上宣布，正式啟動端到端+VLM的早鳥計劃。
據介紹，端到端最大的特點就是取掉了NPN，不依賴于先驗資訊，可以真正實作全國都能開，有導航就能開。
端到端模型則更進一步，通過傳感器将資料輸入模型，就能直接輸出行駛軌迹。
通過車内的端到端和大模型部署，可以讓自動駕駛快速處理，延遲更低、上限更高，使用者所能感受到整套系統的動作、決策更加拟人。
VLM則是視覺語言模型，整體算法架構是由一個統一的Transformer模型組成，将Prompt（提示詞）文本進行Tokenizer（分詞器）編碼，然後将前視120度和30度相機的圖像以及導航地圖資訊進行視覺資訊編碼，通過圖文對齊子產品進行模态對齊，統一交給VLM模型進行自回歸推理。
VLM輸出的資訊包括對環境的了解、駕駛決策和駕駛軌迹，并傳遞給系統1控制車輛。
VLM會時時刻刻思考目前的駕駛環境，給系統1合理的駕駛建議，同時系統1也可以在不同場景下調用不同的Prompt問題，主動向系統2進行求助，幫助系統1解決部分場景。
簡單來說，VLM可以讓車輛具有思考能力，讓自動駕駛的操作更像人類老司機的處理方式。