近一段時間，“大模型”三個字開始越發頻繁地出現在自動駕駛公司的技術話術中，包括特斯拉、毫末智行、小鵬汽車、百度Apollo等頭部企業先後參與其中，引發了整個自動駕駛産業的關注。
特斯拉在2020年宣布将基于深度神經網絡的大模型引入其自動駕駛之中，到現在已實作了純視覺FSD Beta的大規模公測。毫末智行在2021年推出資料智能體系MANA的同時，也宣布要借助大模型提升資料處理能力，進而加速HPilot智能輔助駕駛産品的進化。
小鵬在2022年1024科技日中官宣了重感覺路線的XNGP，并同樣提出要引入并使用大模型打通XNGP全場景能力的觀點。百度Apollo則在最近結束的Apollo Day上介紹了文心大模型，并表示這将是提升器自動駕駛能力的核心驅動力。
事實上，早在自動駕駛企業進入“大模型”階段之前，後者早就成為了整個AI産學界的技術寵兒，甚至由此出現了各種參數不一、任務導向不同的大模型。
但理論歸理論，應用歸應用，自動駕駛企業為何紛紛開始轉型大模型，大模型又究竟能為自動駕駛企業帶來什麼，通過以下内容，你或許就能明白一二了。
大模型，成為自動駕駛量變到質變的催化劑
大模型的到來并不是偶然。在大模型到來時，自動駕駛正在經曆由封閉場景到開放場景的質變期，而既有的資料處理體系并不能實作這一目的。
具體來看，包括自動駕駛企業在内，此時的AI普遍遵循算法、算力和資料三位一體的研究範式，即以一定的算力和資料為基礎，使用開源算法架構訓練模型。
在封閉場景中，自動駕駛并不需要應對并輸出多麼複雜的規控政策，是以此時對資料、算力、算法的要求并不高；但在進入開放場景後，基于對安全性、舒适性、高效性的考量，自動駕駛就必須具備高效擷取并處理海量＆多元度資料的能力。
這帶來了兩個問題。第一個問題是，此時的模型多是基于不同場景及任務制作的，隻能針對有限的、單一的資料種類，無法進行多模态大量資料處理；
另一個問題則是，以往單場景規控往往由多個模型組成，其中單個模型僅負責一種規控動作，這種過于明确又獨立的分工組合，也無法應對連續的多場景任務。
類似的問題也一度困擾着整個AI産業。例如人臉識别系統雖然能識别真人，但也能被照片糊弄；線上翻譯能夠準确翻譯簡單句式，但不能結合語境轉換單詞詞義。
導緻這一問題的本質，來源于機器學習的不足。機器學習的邏輯是，通過收集、篩選各類資料，借助人工确定識别特征，然後根據域和資料類型編碼模型。
大多數機器學習的性能取決于特征識别和提取的準确程度，而在自動駕駛中，這也就成為了限制其感覺能力、進而一步步影響到規控政策的關鍵。
機器學習的困局，伴随着深度學習的到來出現了轉機。雖然屬于機器學習範式中的一種，但同樣通過資料，深度學習能夠從資料中學習更進階的特性：深度學習有着深度更高的神經網絡，從資料輸入到輸出過程中不僅會通過多層神經元，也能通過這種非線性的網絡結構，實作更複雜函數的逼近。
簡單來說，深度學習就是通過建構具有更多層神經元的機器學習模型，并依靠大資料來學習更有用的特征，進而最終提升分類或預測的準确性。相較機器學習，深度學習不僅可以用無标定資料實作無監督訓練，還能與大資料與大算力組合發揮更大性能，可以說是和AI産業的發展方向高度契合。
那麼什麼樣的模型能夠發揮深度學習的真正性能？自然是參數量更大的大模型。有研究指出，在一些任務中，模型性能會随着規模的增加而可靠地提高，而在另一些任務中，模型甚至會在某個規模上表現出性能的突然提升，這也被稱之為突現能力。
此外，更大參數的模型，還能在提升資料處理能力的同時，帶來更強的泛化能力，也就是能夠在同時處理多種不同類型的任務，這也就意味着，類似自動駕駛感覺這樣的多模态融合資料任務不再需要各種小模型進行複雜協同，隻需要一個大模型就足夠了。
可以看出，大模型的到來對整個AI産業來說，都是堪稱從量變到質變的催化劑，包括谷歌、微軟在内的科技界巨頭都在對大模型的研究中，投入了大量資源；自動駕駛也順應了這一趨勢，尤其在擁有1億級參數的Transformer大模型脫穎而出後，其在時序特征和圖像識别領域的能力很快就被特斯拉、毫末智行等頭部自動駕駛企業發現，并迅速投入到了使用。
跳票兩年隻為“單堆棧”，大模型讓特斯拉加速轉型
盡管特斯拉在FSD的研發和落地進度上一騎絕塵，但事實上，特斯拉也就是在最近幾天才宣布結束FSD Beta的内測狀态，正式開啟大規模公測階段。而在此前長達兩年的公測跳票，馬斯克雖然沒有說明原因，但從FSD Beta的更新中，我們依舊能猜得一二，那就是特斯拉在這兩年中，經曆了一場基于大模型的技術轉型。
具體來看，特斯拉從2020年10月宣布開啟FSD Beta内測，此時的馬斯克還很樂觀，認為FSD Beta用不了多久就能進入公測階段，然而事實是，早期版本的FSD Beta問題百出，經常在包括無保護左轉、環島等場景中陷入死循環。
同年8月，在開啟内測前夕，馬斯克曾公開表示FSD剛剛經曆了一次架構方面的“重寫”，至于究竟重寫了什麼，馬斯克隻是表示，“神經網絡會吸收越來越多的功能”。
而到了一年後，FSD Beta V11更新，裡面出現了一個關鍵詞，叫做“單堆棧”。單堆棧的意思就是單一的神經網絡，它将會成為FSD Beta的主導；此外還有一段話引人注意，“在高速公路上啟用 FSD Beta。這統一了高速和非高速路段的視覺和規劃堆棧，并取代了已有四年多曆史的傳統高速堆棧。傳統的高速堆棧僅依賴于幾個單獨工作的攝像頭和單幀網絡，曾經被設定為處理簡單的、專注于車道的操作。”
顯而易見的是，這一段内容描述，與基于深度學習的大模型能力非常接近，而在2021 TESLA AI DAY上，特斯拉AI進階總監Andrej Karpathy宣布，将引入Transformer進行大規模的無監督學習——這不能說非常巧合，隻能說是完全一緻了。
大模型的能力，在2021與2022 TESLA AI DAY上，得到了非常充分的展示。特斯拉不僅成功将全車8個攝像頭擷取的感覺資料拼接成了一幅具有時序特征的4D向量空間，還在之後引入了占用網絡，既實作了事無巨細的高效率标注，又能由此進行實時預測和演練，輸出最佳規控政策。
籠統總結，在正式引入大模型之前，特斯拉的高階輔助駕駛能力既不能對硬體做到高效應用，也不能在軟體層面做到打通，另外實作能力也受模型參數限制，導緻頻繁翻車；而在引入大模型之後，FSD終于打通了全場景的各項能力，其自動駕駛能力也不再是單一功能的簡單堆棧，有了大資料與大算力的積累，加上自我學習帶來的效率提升，這一場耗時兩年的轉型雖然成本高昂，但絕對物超所值。
注重資料積累，三年間讓毫末實作技術蝶變
就在特斯拉的轉型途中，國内這家自動駕駛初創公司毫末智行才成立。但新來駕到的好處是可以站在前人的肩膀上，既能看到好的機會，也能避免一些别人踩過的坑。由于在公司創立之初就确立了資料驅動的發展政策，引入大模型很快就成為了重中之重。
成立僅2年時間，毫末智行就在2021 HAOMO AI DAY上正式釋出了資料智能體系MANA，其核心在于圍繞資料，實作更低成本、更高效率的擷取、标注與訓練，進而實作自動駕駛感覺能力和認知能力的全面更新；而對于究竟需要多少資料，才能真正實作資料驅動，毫末智行又在第六屆HAOMO AI DAY上給出了答案：1億公裡。
1億公裡的資料集對其它自動駕駛企業來說或許遙不可及，但對毫末智行來說，背後則有着大規模量産車型和真實道路場景資料的支撐；而對于算力問題，車端有小魔盒3.0，雲端有智算中心，眼下唯一的問題，就是如何借助大模型快速提升資料處理能力了。
毫末智行對大模型的研究和應用是全方位的。首先在感覺層面，毫末智行的第一步，就是借助大模型實作包括攝像頭+雷射雷達在内衆多傳感器資料的前融合。對比傳統的後融合技術，前融合更考驗模型對大資料的并行計算能力，對此Transformer自然手到拈來；第二步則是借助其時序能力，将結果映射到BEV網絡上，成為一個連續、可預測的感覺世界。
認知層面則聚焦在如何化解長尾難題，這裡毫末智行的解法是先通過大資料預訓練大模型，再由大模型統一其它各類場景任務模型，經過标注資料集的不斷訓練，大模型會從中逐漸掌握人類駕駛的經驗，而這也将成為其應對各類駕駛場景的統一政策。
在标注與訓練層面，除了不斷提升自動标注與訓練的效率，毫末智行也在提升大模型的自監督學習能力，進一步發揮大資料的優勢；此外，龐大的資料集也會影響大模型的訓練效率，通過引入增量式學習，毫末智行又能夠對大模型的算力資源實作科學配置設定。
最後則是針對仿真系統的運用，為了更進一步提升訓練效率，毫末智行需要讓仿真系統在更真實的基礎上，實作更高效率的驗證和訓練，這自然也更需要大模型的參與。
總的來看，大模型對毫末智行的幫助是相當大的，除了能夠比國内其它自動駕駛企業更快實作大資料+大模型+大算力這一資料閉環結構的搭建，也幫助其在三年時間裡，自動駕駛技術體系就實作了“蝶變”的效果。也許，等到1億公裡裡程達成後，毫末智行的資料智能真正完成閉環，在各種場景提供自動駕駛的落地能力。
大模型、大資料、大算力，合力驅動質變
總體來說，對于自動駕駛企業，大模型不僅僅是為了提升自動駕駛能力，而是是确确實實代表了整個AI産業的發展未來，由特斯拉、毫末智行、小鵬等自動駕駛玩家的計劃當中，都越發看到大模型發揮效果的身影。
除了大模型的大規模應用外，有關如何進一步提升大模型性能，AI産業還在不斷投入研發成本，例如超大規模參數的大模型的應用。在未來，大模型的參數不僅會越來越大，類型也将越來越多，以不斷滿足包括自動駕駛在内整個AI産業的需求，這又将驅動大資料與大算力組成循環發展，相信在這一趨勢下，自動駕駛技術也将越發成熟，直到真正實作，為人類的出行方式帶來質變式的變革。