摘要：什麼是輔助駕駛？簡而言之，就是借助汽車對周圍環境的自動感覺和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒适性和安全性。
導讀：基于昇騰AI異構計算架構CANN的輔助駕駛AI應用實戰開發案例，不僅可以實時檢測路面車輛，還能計算出車距，輔助駕駛員進行決策。此項目源碼全部開源，傳送門已開啟，小夥伴們快來體驗吧！
科幻片中光怪陸離的飛行器，寄托着人類對未來出行的無限遐想。随着科技的進步，能夠自動駕駛的汽車，已經離我們越來越近。
自動駕駛帶給人類的驚喜不止是酷炫的自動超車變道，還有它在緩解交通阻塞、減少空氣污染、提高道路安全性方面的種種可能性。是以也引得無數汽車企業、科技企業競相加入這條行業賽道，力求不斷突破。
然而，自動駕駛并不是一蹴而就的，由于技術瓶頸和相關法律法規的限制并未真正意義落地，當下的智能汽車正處于半自動駕駛（輔助駕駛）階段。
什麼是輔助駕駛？簡而言之，就是借助汽車對周圍環境的自動感覺和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒适性和安全性。
當然，輔助駕駛系統也是非常複雜的，為實作汽車在多種複雜場景下的通用性，以及技術層面的多樣性，離不開人工智能技術。我們開發了一套基于昇騰AI異構計算架構CANN（Compute Architecture for Neural Networks）的簡易版輔助駕駛AI應用，具備車輛檢測、車距計算等基本功能，作為輔助駕駛入門級項目再合适不過啦！
話不多說，開啟項目傳送門：https://www.hiascend.com/zh/developer/mindx-sdk/driveassist
CANN是華為專門針對AI場景推出的異構計算架構，以提升使用者開發效率和釋放昇騰AI處理器澎湃算力為目的，并且提供多層次的AscendCL程式設計接口，支援使用者快速建構基于昇騰平台的AI應用和業務。
當然，真正意義上的輔助駕駛系統遠比這個AI應用更複雜，下面主要介紹如何借助AscendCL程式設計接口對輸入視訊進行預測推理，進而實作對車輛及車道線的智能檢測。
為模仿駕駛員對車輛的辨識和分析，需要建立起一個類似人腦的算法結構，找出目标物體，确定它們的類别和位置。同時也需要解決影響檢測準确性的一系列問題，比如汽車的外觀和姿态、光照和遮擋等因素帶來的幹擾。
以YOLO（You Only Look Once）為代表的目标檢測算法為各類物體的檢測提供了更多可能性。從人臉檢測到車流控制，從人群計數到農作物監控，目标檢測算法在各領域都發揮着不可或缺的作用。
YOLO算法目前已經疊代到v5版本，本項目使用的是YOLOv4，下面我們來看看它的結構。
圖檔來自https://blog.csdn.net/andyjkt/article/details/107590669
從算法結構方面看，YOLOv4由三部分組成：Backbone層提取特征，Neck層提取一些更複雜的特征，最後由Head層計算預測輸出。
Backbone層：通過CSPDarknet53架構在不同圖像細粒度上聚合并形成具備圖像特征的卷積神經網絡，主要用于圖像特征提取。
Neck層：由SPP或PAN等一系列混合群組合圖像特征的網絡層組成，提取一些更複雜的特性，并将圖像特征傳遞到預測層。
Head層：對圖像特征進行預測，生成邊界合并預測類别。
從流程方面看，YOLOv4主要分為三個處理階段：
首先，将圖像分割為若幹個網格（grid cell），每個網格負責生成3個包圍框（bounding box），以及對應置信度。
接着，YOLOv4會用非極大值抑制算法（NMS），将與标注資料（ground truth）重合度低的bounding box剔除。
經過回歸處理後，最後剩下的bounding box所在的位置就是YOLOv4預測目标所在的位置。
圖檔源自YOLO原始論文，參見文章末尾
和人類掌握某項技能一樣，算法模型本身也需要經過不斷地訓練和試錯才能滿足特定業務場景需求，面對成千上萬的資料量和參數量，訓練時間可能需要幾天甚至上月，這時，一個擁有強大算力的AI計算平台簡直能救你于水火。
昇騰AI基礎軟硬體平台，依托昇騰AI處理器強大的算力，借助異構計算架構CANN的軟硬體協同優化充分釋放硬體算力，為高效訓練奠定了堅實的基礎。
我們知道，AI算法模型可以基于不同AI架構定義。無論是華為開源AI架構昇思MindSpore，還是TensorFlow、PyTorch、Caffe等其他常用AI架構，CANN都能輕松轉換成标準化的Ascend IR(Intermediate Representation)表達的圖格式，屏蔽AI架構差異，讓你快速搞定算法遷移，即刻體驗昇騰AI 處理器的澎湃算力。
此外，在全新一代CANN 5.0版本中，更是能通過圖級和算子級的編譯優化、自動調優等軟硬體深度協同優化，全面釋放硬體澎湃算力，達到AI模型訓練性能的大幅提升。針對包括分類、檢測、NLP、語義分割在内的常用模型訓練場景，均可實作性能翻番，讓整個訓練過程快到“飛”起。
本項目使用的YOLOv4原始模型是基于Pytorch架構和昇騰AI處理器訓練的，開發者們可以直接下載下傳使用，也可根據實際精度需要重訓：https://www.hiascend.com/zh/software/modelzoo/detail/2/e2c648dc7ffb473fb41d687a1a490e28
有了訓練好的AI算法模型之後，就能借助AscendCL程式設計接口實作對視訊車輛及車道線的智能檢測了。
AscendCL（Ascend Computing Language）是一套用于開發深度神經網絡推理應用的C語言API庫，兼具運作時資源管理、模型加載與執行、圖像預處理等能力，能夠讓開發者輕松解鎖圖檔分類、目标檢測等各類AI應用。并且為開發者屏蔽底層處理器的差異，讓開發者隻需要掌握一套API，就可以全面應用于昇騰全系列AI處理器。
借助AscendCL程式設計接口，采用如下圖所示的子產品化設計，便能快速實作一個基于YOLOv4算法的目标檢測應用。
首先介紹一下核心代碼。
在預處理階段，主要将opencv讀到的圖像轉換成符合模型輸入标準格式和尺寸的圖像（源碼如下圖所示，完整版代碼請檢視文末連結）。
首先将opencv每幀讀到的BGR圖像轉換成RGB圖像，并通過模型輸入所需寬高與原圖像寬高得到縮放系數scale、偏移量shift、偏移系數shift_ratio。
将原圖像resize到新的寬高得到image_，建構一個全0的新圖像，寬高和模型輸入寬高相同。将image_以np.array的形式填充到全0的圖像中，不在偏移範圍内的則都是0，将的圖像的資料類型轉換成np中32位浮點型。
為了消除奇異樣本資料的影像，進一步做歸一化處理。
最後将通道數換到圖像的第一次元，傳回新生成的圖像和原始圖像。
在推理階段，調用acl_model中的execute函數執行模型（完整版代碼請檢視文末連結），預處理後的圖像會被送至轉成om的YOLOv4模型，傳回推理結果。
在後處理階段中，後處理包括根據推理結果擷取檢測框坐标和置信度，使用NMS消除多餘的邊框，使用透視變換矩陣計算車距，用opencv檢測車道線，最終繪制帶有車輛檢測框、檢測框類别、車距和車道線的新圖像。
梳理一下整體開發流程：
運作管理資源申請：用于初始化系統内部資源，此部分為固定的調用流程。
加載模型檔案并建構輸出的記憶體：将訓練好的模型轉換成om離線模型并且從檔案加載。此時需要由使用者自行管理模型運作的記憶體，根據記憶體中加載的模型擷取模型的基本資訊包括模型輸入、輸出資料的buffer大小。由模型的基本資訊構模組化型輸出記憶體，為接下來的模型推理做準備。
資料預處理：對讀入的圖像資料進行預處理，然後構模組化型的輸入資料。首先會對輸入視訊中的圖像畫面按每幀進行處理；然後由BGR轉成RGB格式；接着使用resize将圖像大小變成416x416，最後除以255進行歸一化處理以消除奇異資料的影響。
模型推理：根據建構好的模型輸入資料進行模型推理。
解析推理結果：基于推理得到的檢測邊框和各邊框的置信度，使用NMS消除多餘的邊框，将新的邊框和類别繪制在輸出圖像上。
這樣，一個基于CANN開發的簡易版AI輔助駕駛小應用就開發完成了，小夥伴們點選如下連結就能直接體驗效果啦！https://www.hiascend.com/zh/developer/mindx-sdk/driveassist
可能有人會問，車距是怎麼算出來的？其實車距計算采用的是透視變換原理，使用opencv的getPerspectiveTransform方法通過将駕駛過程中拍攝的直視圖轉換成俯視圖計算車距。此外，用來拍攝行駛畫面的相機也影響車距的計算。需要查找相機的内外參矩陣，結合畸變系數用相機标定技術将圖像中的距離資訊映射為客觀世界中的真實距離，進而計算出與其他車的距離。這幾個參數如何查找可以參考文末的視訊連結。
我們的項目代碼全部開源，感興趣的小夥伴可以下拉到文末直接通路源碼。
目前開發的這個AI輔助駕駛小應用，針對分辨率1280x720、幀率29.97、時長16秒的視訊，單幀圖像在昇騰AI處理器上的純推理時長為14.19毫秒，但由于圖像的前處理和後處理是在CPU上進行的，是以影響整體性能，可通過以下方式改進：
前處理和後處理根據CPU數量和處理時長使用多個線程并行處理，提高昇騰AI處理器使用率。
使用多個昇騰AI處理器進行多路推理，進一步提升性能。
優化代碼算法，将後處理部分由CPU下沉到昇騰AI處理器減少後處理耗時，如何下沉可參考
https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/2_object_detection/YOLOV3_coco_detection_picture_with_postprocess_op
使用Auto Tune工具，對模型進行調優，減少模型單次推理時長
使用Profiling工具，分析模型中耗時算子，對算子進行優化
歡迎小夥伴一起參與項目改進，如有疑問也歡迎在gitee互動留言！
如今很多汽車、高鐵和飛機上都搭載了輔助駕駛系統，不僅可以減輕駕駛員的負擔，同時還降低了事故發生的機率。随着越來越多的行業彙入AI這條道路，昇騰CANN也将憑借技術優勢大大降低企業和個人開發者的使用門檻，通過不斷創新打造昇騰AI極緻性能體驗，加速AI應用行業落地步伐，助力合作夥伴在未來AI之路上越走越遠！
線上體驗連結：https://www.hiascend.com/zh/developer/mindx-sdk/driveassist
Gitee源碼連結：https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/2_object_detection/YOLOV4_coco_detection_car_video
YOLOv4原論文：https://arxiv.org/abs/2004.10934
YOLO原論文：https://arxiv.org/pdf/1506.02640.pdf
YOLOv4模型實作：https://github.com/AlexeyAB/darknet
相機參數查找方法：https://www.bilibili.com/video/BV1Fq4y1H7sx/
點選關注，第一時間了解華為雲新鮮技術~