汽車級ISP“不可小視”，市場争奪戰已經打響

作為智能駕駛的核心傳感器，攝像頭的作用毋庸置疑。

為了獲得更好的圖像品質，通常在系統開發過程中，工程師需要對相機的ISP（圖像信号處理）參數進行調整，以更好的适配場景和算法。一般情況下，這個優化調整的過程需要幾個月時間。

研究結果表明，對于任何一種CV算法，相機的ISP都必須根據其結構、任務、語義、訓練和偏好進行專門優化。而視覺感覺的重要性，也在被越來越多的企業視為未來自動駕駛的低成本解決方案。

近日，豐田汽車旗下負責智能駕駛開發的子公司Woven Planet對外證明，未來将效仿特斯拉公司的做法，試圖用低成本攝像頭來推進自動駕駛技術落地。

該公司認為，基于攝像頭采集資料和訓練模型，是一個具備“突破”性意義的裡程碑，并且有助于降低推動自動駕駛落地的成本，同時對于一個強大的自動駕駛系統也至關重要。

“我們需要大量資料。僅僅從非常昂貴的備援安全自動駕駛系統（比如，配置雷射雷達）中采集資料，是遠遠不夠的。”Woven Planet公司相關技術負責人表示，低成本相機的大部分資料，已經接近高成本傳感器的水準。

ISP的規範

在Woven Planet公司的崗位招聘中，攝像頭子產品負責人的要求之一，就是對圖像信号處理（ISP）有深刻的了解，涉及相機子產品、圖像傳感器、接口、ISP SoC等，并負責攝像頭系統技術路線圖的制定。

在ISP層面，上述崗位需要對圖像信号處理、圖像品質調整、相機校準、圖像品質度量、色彩科學有較強的了解能力，了解計算機視覺算法，以及攝像頭的工廠校準，内部/外部校準，ISP調諧校準等。

通常在一款攝像頭的ISP标定過程，涉及到黑電平、NR降噪、靜态壞點、鏡頭的Shading、AWB靜态白平衡、CCM、陰影矯正、電子防抖、日夜切換、聚焦參數等多個環節。

而針對汽車行業，尤其是智能駕駛、艙内監控等應用，ISP優化也有很多差異化的地方。比如，針對前視ADAS系統，需要可以快速分析遠處和近處的物體，鏡頭聚焦在一個遠距離範圍内，需要最大限度地提高系統的靈敏度。

針對後視及環視應用，則需要應用畸變校正算法和多圖像的拼合。比如，采用預畸變的SFRplus測試圖卡，應用于廣角鏡頭的畸變和清晰度測試。對于超廣角攝像頭則需要增加超廣角清晰度分析裝置來進行測試。

艙内監控，比如駕駛員疲勞分心預警感覺，主要是掃描駕駛員的面部和眼部位置，需要高精度成像來跟蹤不同光線環境中的駕駛員狀态識别。

而在行業标準方面，此前大多數汽車攝像頭系統都是獨立定制開發的模式，并沒有用于校準或測量圖像品質的标準化參考點。汽車成像由于其不同和獨特的成像條件（魚眼、多攝像頭、高動态範圍/HDR、溫度範圍等），給行業帶來了獨特的挑戰。

此後，IEEE-SA P2020汽車成像标準工作組的成立，就是為了解決汽車成像系統的圖像品質測量方面存在的相當大的模糊性，包括基于人類和計算機視覺。

按照此前IEEE P2020汽車成像工作組釋出的行業白皮書可以看到，過去汽車制造商和一二級供應商缺乏一種共同的語言來描述系統的圖像品質，造成很多需求在OEM、一級、二級供應商開發過程中出現偏差。

一個比較明顯的差異化結果就是，即便是基于相同的視覺處理晶片、算法，由于攝像頭的差異，可能就會出現同一個功能的表現差異。

就在今年初，誠邁科技就與英偉達正式簽署合作協定，為智能駕駛相關企業提供基于NVIDIA DRIVE Orin及Xavier等系統級晶片産品的量産級别ISP服務。

ISP的争奪戰

毋庸置疑，不管是其他應用行業，還是汽車行業，攝像頭性能的優化已經變得越來越重要。過去，攝像頭廠商是主要的ISP需求方。近年來，一方面，CMOS廠商在逐漸尋求內建ISP的方法，同時，在SoC中也把ISP作為主要的子產品。

這些通常都被稱為硬ISP，還有一種是軟ISP，通過專業算法處理傳感器資料，如線性糾正、噪點去除、壞點修補、顔色插值、白平衡校正、曝光校正等。此前，特斯拉傳言要“抛棄”ISP，大機率也是希望采用軟ISP來規避第三方硬體上的限制。

而與攝像頭中內建ISP不同，類似英偉達、高通等SoC廠商的産品中內建的ISP，在過去比較難通過第三方來實作調優。比如，Qualcomm處理器自帶的ISP，就有自己的優化算法。即便是可以實作參數調校，也大多數會限定在高通的架構之内。

這也是為什麼此前很多手機廠商尋求自研ISP來提升攝像頭的性能，并建構差異化門檻。原因恰恰就是因為“相同的鏡頭和傳感器經過不同的ISP調教，也會有不同的效果。”

此外，ISP是非标準化的晶片IP，既有客觀的性能名額，比如攝像頭的數量、分辨率幀率、帶寬、功耗、延遲等。也有比較難以完全客觀化的圖像評價名額。

幾年前，Arm站了出來，希望一統汽車級ISP的IP江湖。

早在2016年，ARM就收購了成像技術開發商Apical，後者專門從事ISP和計算機視覺技術開發。後者成立于2002年，此前主要服務手機市場。

今年初，Arm宣布正式釋出汽車級Mali-C78AE ISP，符合ISO 26262 ASIL B功能安全要求。在Arm看來，未來五年，汽車攝像頭市場的規模還在快速增長，單車配置10-13個攝像頭會成為常态，這意味着，ISP市場（需要适配不同的需求）也在同步擴大。

而相比于傳統攝像頭内置的ISP，Mali-C78AE有超過380個故障檢測電路，可以檢測連接配接攝像頭的傳感器和硬體故障。這對于需要滿足更高功能安全要求的系統來說，至關重要。

此外，Mali-C78AE采用了更好的降噪技術和動态範圍管理，通過調整幀的過暗或過亮區域，確定每個幀都能清晰和适當曝光，并且能夠在大約150毫秒的時間視窗内調整幀資料，大大降低ISP的出錯幾率。

同時，和過去與攝像頭數量成正比關系的ISP來說，Mali-C78AE能夠處理多達4個實時攝像頭或16個虛拟攝像頭的資料，這意味着整體系統成本的下降，同時也會大幅降低攝像頭的功耗。

在量産端，Mali-C78AE ISP将可以配合此前已經釋出的Cortex-A78AE CPU、Mali-G78AE GPU。公開資訊顯示，Mobileye即将推出的下一代EyeQ Ultra、EyeQ6H等SoC将率先搭載Arm的ISP，進一步提升圖像處理能力。

ISP的軟實力

當然，ISP的能力優化，仍然是一條漫長的道路。這也預示着，基于攝像頭的感覺技術仍然具備很大的潛在提升空間。

按照IEEE-SA P2020白皮書中所說，定義ADAS系統的元件要求是一個複雜的過程。在中間資料流中觀察到的特定效果不一定是孤立的，需要對完整的資訊傳輸流進行複雜的分析。

這意味着有必要分析從光學層面到電子信号層面的鍊條，必須考慮到系統預期運作的使用情況。是以，至關重要的是，元件不隻是作為孤立的元素來表征，而是在一個單一的架構下很好地涵蓋了鍊條上的所有影響，這樣才能适當地表征整個系統。

比如，IEEE P2020分組3（系統和部件層面的計算機視覺的圖像品質）的目标就是開發一緻的名額，既描述各種退化，又給出其置信度的界限。探索區分性的機率方法，如對比度檢測機率（CDP）。這有助于整體信号鍊的可視化，并旨在改善跨域障礙。

這也催生了ISP賽道的工程服務市場。

比如，Imatest LLC公司在去年就推出了新的相機幾何校準驗證服務，原因是在建構汽車攝像頭系統時，幾何相機校準是必要的，以提供圖像和真實世界之間的對應關系。

同時，測試服務與IEEE P2020保持一緻，産生64個目标對組合進行分析。目标距離誤差用于描述給定校準的品質。相機旋轉到多個位置，通過圖像場進行評估，每個圖像都産生一組用于分析的距離錯誤值。

此外，在ISP算法層面，也有不少公司開始推出一些工具。

去年，一家名為Visionary.ai的以色列軟體公司就推出了一套軟體ISP工具，基于AI技術大幅提高圖像和視訊的品質，并檢測每幀中的每個細節。

另一家名為Algolux的計算機視覺和圖像優化解決方案提供商，也将計算成像技術（CIT）導入汽車ISP領域，也就是在傳統成像技術中引入資訊處理方法，改變傳統光學成像單一依靠線性光學資訊傳遞理論的瓶頸。

這也被稱為，下一代軟ISP的“新”能力。

因為，硬ISP是由工程師撰寫的代碼，特斯拉稱之為軟體1.0。人工智能增強的ISP，也被稱為軟體2.0，不是由工程師決定，而是由AI技術進行不斷疊代優化。

比如，Algolux公司給出的解決方案，就是不采用傳統的硬ISP圖像處理器，而是采用RAW傳感器資料作為輸入，然後通過端到端深度神經網絡融合和處理資料。

“我們的軟ISP現在提供的最好結果，是在0.1 lux（被拍攝主體表面機關面積上垂直照射到的光通量）以下，可以在幾乎完全黑暗的情況下檢測全色圖像和視訊。”在Visionary.ai公司看來，傳統硬ISP架構則需要長時間曝光的圖像檢測，而我們可以實作視訊級檢測。

或許，這才是我們需要正視的ISP“變革”。同時，ISP的優化能力，也将是汽車感覺技術方案商的差異化競争門檻。