天天看點

連接配接真實世界,高德地圖背後的算法演進和創新

演講嘉賓簡介:任小楓,高德地圖首席科學家。

以下内容根據演講視訊以及PPT整理而成。

觀看回放(戳我)

本次分享主要圍繞以下三個方面:

一、高德地圖簡介

二、用算法連接配接世界

三、用算法創造出行未來

>>> 點選下PPT

一、高德地圖

高德地圖已經變成了國民級的出行工具,每日日活使用者已經超過1億,月活使用者已經超4億。高德地圖服務還包括資訊服務、駕車導航、共享出行、智慧公交、智慧景區、騎行、步行、長途出行等等。高德地圖不光是個導航,更多的是一個網際網路基礎設施。淘寶是建立人與商品的關系,支付寶是建立人和資金的關系,高德地圖是建立人與位置的關系,更進一步則是建立人與真實世界的關系。高德地圖的使命是連接配接世界,讓出行更美好。事實上,高德地圖的APP隻是大家所看到的冰山的一角,但在高德地圖背後還有很多工作,如定位、路徑規劃、路況、ETA、網約車、貨運、LBS遊戲、供需+路徑規劃等等,這些工作都需要很多技術的支援。

連接配接真實世界,高德地圖背後的算法演進和創新
1.地圖制作

地圖制作是一個非常複雜的過程。如下圖,首先需要進行資料的采集,再通過算法進行自動識别。當然目前自動識别還無法達到全自動的程度,還需經過人工修正才能進入地圖服務中。

連接配接真實世界,高德地圖背後的算法演進和創新

地圖制作算法類型:地圖制作算法大緻分為兩類,一類是道路标志識别,如識别下圖中的限速和禁停标志。除道路資訊之外,還有POI挂牌識别算法,即Point of Interest,識别路邊的店鋪等興趣點。兩類算法的實作在現實場景中都面臨着很多的挑戰。

連接配接真實世界,高德地圖背後的算法演進和創新

道路标志識别:以下圖中的道路标志識别為例,首先需要通過目标檢測算法将裡面的标志進行識别。對所識别标志進行細分類,識别出是禁行标志。再進行文字識别,識别出具體的内容是長途客車,時間在2:00到5:00間。大體看起來道路标志識别的流程好像很簡單,但實際實作過程中會遇到各種各樣的困難。

連接配接真實世界,高德地圖背後的算法演進和創新

道路标志識别挑戰:

(1)道路标志種類繁多,如下圖中所列出來的标志,這還不是全部的标志。如此多的道路标志給所識别标準細分類任務帶來了很大的挑戰。

連接配接真實世界,高德地圖背後的算法演進和創新

(2)圖像品質問題也會對道路标志識别帶來較大的難題。圖像問題包括畸變、反光、遮擋、分辨率較低、圖像壓縮等等。其成像品質由于光線、天氣的影響會變得非常糟糕。

連接配接真實世界,高德地圖背後的算法演進和創新

解決圖像畸變問題相當于相機自标定的過程。其中,相機的内參如焦距、中心、畸變等,外參如位置、角度等都是未知的。标準圖像的标定算法需要拿到每個相機進行标定,實作起來并不現實。此時通過多源圖像比對的手段,通過利用品質較好的相機,可以在相當程度上解決相機自标定的問題。

連接配接真實世界,高德地圖背後的算法演進和創新

此外,我們可以用圖像品質增強的方法來解決圖像品質問題。下圖中左側是原圖,放大原圖可以看清一些文字内容,但還是有一些細節的文字不是很清晰。右圖顯示,用圖像增強的方式,可以把文字内容變得更清楚。圖像增強可以提高識别算法的精度,還可以用于模糊檢測,也可以用于提高人工效率。

連接配接真實世界,高德地圖背後的算法演進和創新

(3)小目标檢測問題在圖像檢測領域經常出現。下圖中的攝像頭,從遠處看大概可以猜到具體是什麼,但是一旦放大,像素會非常糟糕,顯示小目标本身的資訊量很有限。小目标檢測可以通過周邊的資訊輔助目标檢測,引入注意力(Attention)機制,利用先驗知識,如相機的分布、高度、大小等資訊輔助解決小目标檢測問題。

連接配接真實世界,高德地圖背後的算法演進和創新

(4)在實際生活中除了小目标檢測,更多的是對變化進行檢測。如判斷下圖中是否屬于同一電子眼,人眼由于時間,天氣,裝置等不同很難進行準确判斷。而算法則可以通過檢測位置、歸屬車道、電子眼架設類型、及分析場景等手段進行判斷。

連接配接真實世界,高德地圖背後的算法演進和創新

POI挂牌識别算法:真實的街道中,挂牌非常複雜且密度很高,是以POI挂牌識别時依然會遇到很多實際問題。

連接配接真實世界,高德地圖背後的算法演進和創新

POI挂牌識别挑戰:

(1)實際街道上,POI挂牌方式豐富多樣,如牌坊式POI、銘牌式POI、挂牌式POI、門臉式POI等。實際街道中還有很多非挂牌POI式的目标,如條幅智語、橫幅廣告、牆體智語、交通智語對聯、和車牌等。

連接配接真實世界,高德地圖背後的算法演進和創新

(2)識别POI之後,需要進行文字的識别和提取。這時除了多種多樣的POI挂牌之外,還有挂牌密集稀疏不一,特殊造型的挂牌,以及不清晰和不完整的挂牌等問題。對于這種複雜的問題需要結合多種技術解決,如多級級聯檢測模型,文字檢測識别,三維重建位置比對,模糊和遮擋檢測技術。

連接配接真實世界,高德地圖背後的算法演進和創新

(3)POI排版識别除了文字識别之外,還需要對牌面進行解析,了解牌面上的主名稱、分店名、聯系方式、營業範圍和非PO文字等内容。是以POI文字識别首先要進行屬性識别,根據文字語義、圖像和位置進行特征融和,根據場景了解及上下文判斷context。

連接配接真實世界,高德地圖背後的算法演進和創新

整體而言,要保證和提高地圖資料的準确率,基于圖像的自動化地圖制作的程度和效率都非常重要。高德除了在提高算法及多源資料上投入很多精力之外,還在不斷的引入新的技術。此外,高德希望未來可以将算法放在端上,更加實時有效的了解道路場景,收集更快更準确的地圖資訊。

2.搜尋推薦

地圖應用中搜尋産品形态有很多種,首先使用者可以輸入簡短的目的地資訊,地圖進行更進一步的精确搜尋,傳回結果。還有類目搜尋和品牌搜尋,如美食,娛樂品牌等。在沿途過程中,提供導航搜尋功能。

連接配接真實世界,高德地圖背後的算法演進和創新

地圖搜尋的特性和挑戰:下圖從技術角度将地圖搜尋與傳統的電商和網頁搜尋進行了對比。首先,網頁搜尋的是非結構化的長文本,規模非常龐大,可達千億級。電商搜尋的是商品,規模可達到十億級,傳回圖檔清單。而地圖搜尋輸入的是POI類型的結構化短文本,規模大概在千萬級。但是地圖搜尋的精度要求相對更高,此外,需要收集地圖空間位置資訊作為搜尋算法的支援。

連接配接真實世界,高德地圖背後的算法演進和創新

高德搜尋技術演進之路:從2010年開始,高德開始建構搜尋系統。自2014年,陸陸續續引入更高端的技術,建構搜尋專家系統,全面引入機器學習和深度學習,建構搜尋中台,全鍊路業務通道平台化。支援神馬搜尋、菜鳥、斑馬、餓了麼等業務。

連接配接真實世界,高德地圖背後的算法演進和創新

模糊搜尋案例:如下圖所示,搜尋“湖南省人力資源社會保障廳”,如果輸入語句都正确,則可以直接搜到目的地。但實際上,輸入語句總會出現錯誤,搜尋算法需要引入地理糾錯進行高低頻糾錯,通過語義比對新增語義改寫,通過空間關系建立文本空間模型。此外,搜尋算法除了解決單純的語句的比對,更重要的是意圖的識别,判斷搜尋範圍在本地還是外地、需要精搜還是反搜、實時還是調研、出行目的是旅遊還是公務。

連接配接真實世界,高德地圖背後的算法演進和創新

多源地理資訊庫:高德希望建構以地理位置為基礎的綜合資訊庫,其中地理位置包括位置、路網、樓塊和房間等資訊,綜合資訊包括名稱、類型、功能、時間、評論等。這些資訊有多種來源,包括圖像采集、文本大資料、搜尋大資料、軌迹大資料、使用者輸入、行業資料等。如何将這些多源資訊融合起來,支援建構精準的豐富的綜合資訊庫是算法工作面臨的一個主要挑戰。

連接配接真實世界,高德地圖背後的算法演進和創新
3.路徑規劃

高德路徑規劃演進之路:下圖展示了高德路徑規劃的演進路線。從2004年開始,高德提供路徑規劃服務,經過陸陸續續算法的提升和演化,目前高德正處于鑽研多目标算法階段,以滿足使用者的訴求,快速規劃出更好的路線。

連接配接真實世界,高德地圖背後的算法演進和創新

路徑規劃挑戰:現實場景中,路徑規劃技術需要解決超大規模的實時路徑規劃問題。具體而言,路線規劃問題包括路網規模大,如全國道路數量就多達4000萬。其次道路屬性變化非常快,每個季度都有10%左右的更新。此外,路況資訊更新更是要求以分鐘級進行實時釋出。

連接配接真實世界,高德地圖背後的算法演進和創新

超大規模實時路徑規劃,作為實際問題,和學術界的最短路徑算法有很大的不同。在标準算法的基礎上,要提高效率,一個重要的方法是引入預處理,可以輔助解決大規模和實時性的挑戰。預處理算法有很多,包括Arc Flags,Multi-Layers等。

連接配接真實世界,高德地圖背後的算法演進和創新

綜合起來,對于超大規模最短路徑問題,有TNR、CH、CBR等學術界提出的比較好的算法。在實用中,如何在多種算法中做出選擇?我們需要根據實際的需求,包括規模、實時性和路況更新,在算法性能和預處理性能之間找到平衡。

連接配接真實世界,高德地圖背後的算法演進和創新

實際需求首先要保證規劃算法的性能。此外還需要支援實時性需求,如支援小時級路網結構更新,分鐘級路況更新。本質上,實時性的要求推動了算法的設計,基礎算法以分層為主,分多個cell預計算求最短路徑,cell根據路網結構進行partition,針對權重進行update。在硬體基礎方面,在大記憶體的基礎上,支援多核并發,以及cache優化。

連接配接真實世界,高德地圖背後的算法演進和創新
4.資料挖掘

現實生活中有很多路徑的資訊,怎樣從時空大資料中挖掘到所需要的具體資訊?其中,具體需要挖掘的資訊包括POI,新增道路,事故和擁擠等。

連接配接真實世界,高德地圖背後的算法演進和創新

時空大資料挖掘挑戰:

現實生活中的資料挖掘會遇到諸多挑戰,如軌迹不準确,行為複雜,時效性要求較高等。目前,通過多源資訊融和,借助時空模型如RNN,LSTM,CTC,TCN,GCN等,進行特定模型改進,可以支援閉環與資料回流。

連接配接真實世界,高德地圖背後的算法演進和創新

POI過期挖掘案例:POI過期挖掘的業務特點是對空間拓撲的刻畫,對多源特征的融和。此時可通過Wide&Deep的模型,Wide部分處理POI靜态特征,Deep部分處理時序流量特征。高德在這方面也經曆了多種模型的演化,從最開始的RNN到DeepTCN,可以更好的挖掘到POI過期資訊。

連接配接真實世界,高德地圖背後的算法演進和創新

道路新增挖掘案例:道路新增問題除了要對具體的問題進行算法的設計之外,如不同zoom的軌迹特征,mean shift軌迹取種子點,principle curve曲線等,還需要能夠容錯,通過機率模型解決短路,連通路等精細化場景。此外,通過CNN端到端模型,收集熱力和衛星影像刻畫空間資訊,通過軌迹和路網連通性刻畫駕駛行為。

連接配接真實世界,高德地圖背後的算法演進和創新

1. 高精地圖

高精地圖是自動駕駛的基礎。它對精度要求非常高,反映真實世界,無論對道路,車道,還是周圍的資訊進行完備和準确的刻畫。高德對位置的準确性要求是10cm以内。收集到高精地圖資料後需要解決以下幾點問題。

高精地圖挑戰:

(1)資料對齊問題:即使高精采集車精度很高,但誤差還是在1 m以上,通過對多次采集資料進行對齊,得到5cm以内的精準度。此外,還需要對植被影響等多種場景進行處理,同時保持軌迹的剛性,針對上下行觀測角度不同,點雲的不同,前端需要比對ICP,語義,特征和形狀,然後在背景對對齊的資訊進行大規模的拉齊和平滑。

連接配接真實世界,高德地圖背後的算法演進和創新

(2)識别:道路中很多物體需要進行識别,如車道線,路邊緣,地面辨別,以及OBJ對象包括杆,牌和橋等。識别的精度需要達到99+%的召回率,精度在10cm以内,但基于場景的變化,訓練的樣本非常有限。高德通過點雲與圖像算法的融和,及深度學習和傳統算法的結合,複用正常地圖中的額資料和模型,利用先驗資訊支援資料的回流和模型的的疊代。

連接配接真實世界,高德地圖背後的算法演進和創新

(3)從高速到城市:上面的問題在高速道路上不是很嚴重,但在城市場景中,道路路型呈網狀結構,包括高速、幹道、小路等各種等級道路。此外,辨別種類繁多,辨別複雜多變,場景複雜多變,擁堵和遮擋。

2. 視覺定位(GPS)

在城市峽谷中經常與遇到定位不準的問題。下圖中右側紅色部分是真實的位置,黃色是GPS定位的位置,可以發現偏離問題還是比較明顯的。

連接配接真實世界,高德地圖背後的算法演進和創新

視覺定位方法可以輔助解決定位不準問題。目前,手機上都有相機,越來越多的車也都配有相機。我們考慮利用圖像和視訊技術,建立一個通用的視覺方法來定位室内和室外的車和人。具體而言,有幾種技術選擇。SLAM/VIO是定位相對位置的方法。對于絕對位置的定位可通過三位重建稀疏特征+PnP的方法,得到比較精準的結果。還有一種方法是矢量地圖+實時監測算法,對牌、線等對象進行檢測,這類算法對計算算力和精度要求比較高。在此之外,高德也正在探索深度學習的方法,可以在精度和魯棒性之間進行平衡。

連接配接真實世界,高德地圖背後的算法演進和創新

如給到一張圖檔,希望得到其位置和角度。此時需要一個已知位置的參考圖像,再結合實時圖像,在全路網,全天候的條件下得到高效(毫秒級)的定位效果。

連接配接真實世界,高德地圖背後的算法演進和創新

3.AR導航

如何将導航體驗做的更好?尤其在現實世界中會遇到很多複雜的場景。高德希望将導航做到所見即所得的效果,傳統導航更多提供下圖中左側的兩類圖像。但更好的方式可能是下圖右側圖像,通過AR的方式提升導航體驗。

連接配接真實世界,高德地圖背後的算法演進和創新

高德在2019年4月份釋出了AR導航産品,下圖展示了AR導航所提供的導航視圖。道通過綠色路線進行指引,在拐彎處訓示該如何轉彎。此外,還有與前車距離的檢測和碰撞預警功能,以及還在逐漸更新的安全輔助駕駛功能。

連接配接真實世界,高德地圖背後的算法演進和創新

與目前的自動駕駛技術不同的是,AR導航希望通過輕量級的手段解決技術難題。高德目前單相機傳感器,1/5手機晶片的計算性能就能夠達到較好的導航效果。

連接配接真實世界,高德地圖背後的算法演進和創新

AR導航車輛檢測案例:如下圖需要檢測前方車輛。為了高效的檢測前方車輛,需要進行模型壓縮,使用先驗尺度,進行模型的訓練優化。此外,在檢測的基礎上,進行實時的軌迹跟蹤。

連接配接真實世界,高德地圖背後的算法演進和創新

AR導航車道線分割案例:車道線檢測與車輛檢測同理,首先進行模型壓縮,根據多任務模型,将多種目标檢測算法融和起來,提高模型的複用。再進行模型訓練優化,曲線拟合,将檢測和跟蹤進行結合。

連接配接真實世界,高德地圖背後的算法演進和創新

AR導航引導線案例:AR導航視圖中引導線是基于語義分割和回歸模型的基礎上,與傳統的GPS導航進行融和,以提升模型效果。

連接配接真實世界,高德地圖背後的算法演進和創新

下圖中展示了目前高德AR導航的實際效果。AR導航可以實時預警前方的路過的行人,還可以對馬路對面的變燈進行提醒。

連接配接真實世界,高德地圖背後的算法演進和創新

繼續閱讀