前段時間，網絡上關于特斯拉要“拿掉”ISP（圖像信号處理器）的讨論一石激起千層浪，實際上背後是多方角力的現狀。
以手機行業為例，除了高通等SoC晶片自帶ISP外，近年來，不少手機廠商也都在自研高性能ISP，目的是增加手機拍照的效果，進而樹立品牌差異化。
不過，高通也表示，這種情況不會持續多久，很快都會被自家的新技術替代。比如，高通通過對最新一代骁龍8 Gen1晶片中的ISP進一步優化，單顆攝像頭最高可支援2億像素。
在汽車行業，同樣存在攝像頭和ECU/域控制器上的SoC兩端内置ISP的狀态。而不管是CMOS、獨立ISP、AI晶片還是SoC廠商，都在争奪ISP的制高點。而CMOS+ISP是傳統汽車級攝像頭的主流配置。
但這種情況正在發生改變。
典型的案例，就是Mobileye從EyeQ4到EyeQ5的更新。傳統智能攝像頭前視一體機模式更多是仰仗攝像頭側的初始圖像處理，而進入多攝像頭的域控制器時代，ISP遷移至高算力SoC的趨勢已經明确。
比如，Mobileye最新釋出的三款晶片中，EyeQ6H和EyeQ Ultra都搭載了Arm最新一代ISP（Mali-C78AE），而單獨用于前視攝像頭的EyeQ4M更新版EyeQ6L則沒有搭載ISP。
一、一場ISP主動權的争奪戰
衆所周知，ISP圖像處理器主要使用硬體結構完成圖像傳感器輸入的圖像視訊源RAW格式資料的前處理，可轉換為多種格式，還可以完成圖像縮放、自動曝光、自動白平衡、自動聚焦等工作。
這意味着，ISP承擔了非常重要的任務并直接後端圖像處理的性能“天花闆”。過去，在智能駕駛領域，ISP的調優技術含量極高，除了一些第三方工具，ISP工程師起到關鍵的作用，涉及算法能力、硬體知識和程式設計能力。
而對于智能駕駛系統來說，基于攝像頭的視覺感覺準确性仍然是一個巨大的挑戰。一些專業機構指出，目前，行業内視覺ADAS系統開發仍然依賴于對ISP的人工調教，這種方法可能需要幾個月的時間，并且需要工程師有非常深厚的專業知識，很多時候依賴于主觀判斷。
實際上，特斯拉仍在大量招聘圖像品質調教工程師，重要的職責就是調教圖像信号處理器（ISP）和相機參數，保證在各種光照條件下獲得最佳品質的圖像。
按照Arm公司的說法，未來很長一段時間内，ISP需要同時為駕駛員和系統提供圖像處理能力。比如，在低速環視/周視、電子後視鏡等應用場景，人機互動仍是主要訴求。
這家公司是在2016年通過收購成像技術開發商Apical進入汽車ISP賽道，并在一年後推出針對汽車領域應用的首款ISP：Mali-C71，像素吞吐量1.2GPixels/秒，最多可同時支援四個4K分辨率的攝像頭，并允許配置多個ISP來協同工作滿足多攝像頭需求。
背後的驅動力，來自于降低輔助駕駛系統的BoM成本。
比如，R-Car Gen3是瑞薩在2018年推出的汽車計算平台，其中，入門級的R-Car V3M就内置了圖像信号處理 (ISP) ，支援前視及環視“衛星”（拿掉ISP）攝像頭配置，并通過SoC對CAN-FD、Flexray 和以太網總線的支援，降低BoM成本。
而在攝像頭側，傳統攝像頭都是RAW方案，需要搭配獨立的ISP使用，現在則越來越多內建為SoC方案，實際上背後是CMOS廠商對ISP的争奪戰。
比如，豪威科技在2019年推出的OX01F10（內建CMOS和ISP的SoC），支援高達120dB，達到ASIL-B安全級别。今年初，該公司又推出全新OX03D SoC，從100萬像素更新到300萬像素分辨率。
OX03D4C搭載了一個全內建圖像信号處理器（ISP），能夠實作140dB的高動态範圍（HDR），此外還采用了下一代色調映射算法，并擁有業界領先的LED閃爍抑制（LFM）功能，預計今年第四季度将實作量産。
類似的ISP二合一車規級CMOS圖像傳感器也正在成為市場的主流，比如，CMOS圖像傳感器國産供應商思特威科技，在去年也推出了片上ISP二合一圖像傳感器SC120AT，可對RAW圖資料進行優化處理并輸出優質的YUV 422格式視訊影像。
與此同時，在大算力SoC方面，晶片廠商也在加緊提升ISP的性能。
由于基于域控制器的多感覺資料（前）融合趨勢明确，各家晶片廠商都在嘗試如何幫助客戶實作全面覆寫各類道路、交通場景，針對不同光線、天氣等駕駛環境，在動态多變的複雜駕駛條件下，充分發揮攝像頭性能，確定資料準确嚴謹，使成像達到最優效果。
比如，今年2月，自動駕駛主流算力平台供應商英偉達與誠邁科技正式簽署合作協定，授權後者為智能駕駛相關客戶提供基于NVIDIA DRIVE Orin及Xavier等系統級晶片産品的量産級别ISP（圖像信号處理）服務。
而作為大算力SoC的主要IP核供應商，Arm還在全新一代Mali-C78AE ISP開發的性能名額上下足了功夫。除了可以處理四個實時攝像頭或十六個虛拟攝像頭的圖像資料，還增加了硬體安全機制與軟體診斷功能，可以防止或檢測出單個攝像頭中存在的傳感器故障等問題。
二、ISP，從硬到軟
實際上，ISP的另外一條發展路線，則是增加AI處理能力，同時也是提升SoC的ISP處理能力。這也是為什麼此前在手機行業，很多廠商選擇自研，就是因為高通的嵌入式ISP性能不足。
比如，安霸在今年初推出了全新AI圖像信号處理器（AISP），使用神經網絡技術來增強硬體ISP內建到SoC中的圖像處理能力，可以在極低的照度和最小的噪聲下實作低光下的彩色成像，比主流ISP性能提升10到100倍，并具有更自然的顔色再現和更高的動态範圍處理能力。
從成本角度來說，AISP把全色夜視作為關鍵賣點，更好的低光性能和HDR可以減少系統對外部照明條件的依賴，同時可以使用更低成本的攝像頭。
同時，整套系統可以實作在不同光照條件之間的無縫切換，包括白天、夜晚和高動态範圍場景；此外，可以實作與安霸的CVflow引擎的其他AI算法并行運作，進而實作與SoC的完美內建。
目前，該公司最新推出的AI域控制器晶片CV3系列（等效算力高達500TOPS）就已經搭載AISP，可同時支援20路以上攝像頭通過MIPI VC方式連接配接，隻需單顆晶片即可處理全套傳感器，并且可以滿足高性能雙目立體視覺引擎和稠密光流引擎的要求。
而作為國内最早推出自研架構的ISP晶片廠商，華為海思也在去年推出了提供AI處理能力的新一代ISP（越影智能圖像處理引擎），不過初期主要用于物聯網智能終端。在該公司看來，ISP輸出圖像品質決定着“看得懂”的天花闆。
比如，利用神經網絡深度學習海量低照度場景圖檔的噪聲和信号的分布特性，華為海思訓練出一套智能降噪的算法模型，讓越影AI ISP能智能區分圖像中的信号和噪聲，實作低照度場景下的智能降噪。
從官方披露的資訊來看，未來汽車智能駕駛領域的應用也将是這套全新AI ISP引擎的用武之地。尤其是車輛進出隧道口時，由于内外光強反差巨大，如何快速跟蹤不斷變化的光線，并準确對目标進行自适應曝光，是對自動和輔助駕駛安全非常重要的技術。
測試資料顯示，越影相比海思上一代ISP，在逆光場景下動态範圍可提升12dB，并且對場景跟蹤更迅速，能夠有效避免圖像畫面瞬間過暗或過曝，在3幀以内即收斂至穩定狀态。
這些做法的目的也很一緻，就是在弱光、惡劣天氣以及特殊條件下，解決目前攝像頭感覺能力的缺陷。而在傳統ISP中引入AI概念，則可以通過不斷訓練提升ISP的性能，并将傳統關鍵的硬體子產品轉化為軟體定義模式。
這一政策，實際上也得到了英偉達的認同。
衆所周知，傳統圖像信号處理（ISP）仍然面臨性能問題，這是因為之前的性能“天花闆”建立在傳統硬體架構上。此外，不少使用者并不能真正發揮SoC上的ISP能力，原本可以增加AI模型的性能表現。
此外，這些預先開發的硬ISP，無法有效的進行個性化調整（難度也不小），也永遠無法更新。去年，一家名為Visionary.ai的以色列軟體公司就推出了一套軟體ISP工具，基于AI技術大幅提高圖像和視訊的品質，并檢測每幀中的每個細節。
另一家名為Algolux的計算機視覺和圖像優化解決方案提供商，也将計算成像技術（CIT）導入汽車ISP領域，也就是在傳統成像技術中引入資訊處理方法，改變傳統光學成像單一依靠線性光學資訊傳遞理論的瓶頸。
這也被稱為，下一代軟體ISP的“新”能力。
因為，硬ISP是由工程師撰寫的代碼，特斯拉稱之為軟體1.0。人工智能增強的ISP，也被稱為軟體2.0，不是由工程師決定，而是由AI技術進行不斷疊代優化。事實上，這也是此前馬斯克“怼”ISP的關鍵點之一。
三、協同提升
事實上，考慮到ISP硬體的疊代需要更加長期的技術投入，而軟實力的提升，更加符合目前行業現狀，尤其是視覺AI處理能力的“前置”。
去年，特斯拉中國曾組織了一場線下技術交流活動，首次解讀如何用純視覺技術實作自動駕駛的整體架構，涉及對資料如何提取、歸類和優化，以及向量空間建構等關鍵點。
這套方案包括幾個處理步驟：
1、多機位相機拍攝到不同角度的圖像RAW檔案，然後直接經過RegNet網絡（某種卷積神經網絡）及BiFPN（加強特征提取）進行特征提取。
2、經過Transformer進行特征融合及MLP的特征修正，将特征資料重新表示到向量空間中，并在時間和空間上形成一個特征隊列。
3、通過隊列的方式獲得Video的特征，加入IMU資料，形成4D影像；再經過Spatial RNN進行特征提取；最終再經過不同的檢測頭實作車輛、行人、車道線、深度圖、速度/方向等檢測。
而Algolux公司給出的解決方案，也非常類似。就是不采用傳統的硬ISP圖像處理器，而是采用RAW傳感器資料作為輸入，然後通過端到端深度神經網絡融合和處理資料。
這家公司也給出了和此前特斯拉攝像頭+雷達感覺方案的效果對比。由于基于端到端架構+逐幀檢測模型，這套解決方案提供了高達3倍（較傳統方案）的精度感覺，特别是在低光和惡劣天氣條件下。
原因是，目前基于傳統攝像頭的視覺系統存在固有的魯棒性限制，而這種端到端學習架構将圖像生成與視覺任務相結合來解決這個問題，通過無監督和自監督學習，在短短幾天内自動調整系統的圖像處理能力。
這意味着，傳統實體分隔的光學設計、圖像處理和視覺感覺處理可以實作端到端的模型訓練，進而達到高效的實時處理性能。
“我們的軟ISP現在提供的最好結果，是在0.1 lux（被拍攝主體表面機關面積上垂直照射到的光通量）以下，可以在幾乎完全黑暗的情況下檢測全色圖像和視訊。”在Visionary.ai公司看來，傳統硬ISP架構則需要長時間曝光的圖像檢測，而我們可以實作視訊級檢測。
而最優的方式，或許是軟硬體能力的協同提升。這是近幾年全球範圍内出現不少ISP硬體及軟體方案廠商收購案的驅動因素之一。
實際上，我們從高通最新釋出的應用于手機行業的Snapdragon 8 Gen 1的全新ISP（Snapdragon Sight品牌）看出一些端倪。這顆ISP每秒可以處理32億像素（上一代是27億像素），每秒捕捉240張1200萬像素的照片，是上一代的兩倍。
高通對ISP進行了重新的硬體設計，将每通道的位寬從14位提高到18位，大幅提升動态範圍處理能力，同時可以輸出未經壓縮的18位RAW資料。此外，高通還提供AI軟體引擎用于圖像的自動曝光和自動對焦。
而目前已經進入上車階段的高通骁龍Ride智能駕駛計算平台，搭載的則是上一代14位Spectra圖像信号處理（ISP），提供三重并發和三重并行處理功能。接下來，随着車載攝像頭像素繼續提升（乃至從800萬往千萬級别發展），不排除更多用于手機的ISP更新至車規。
事實上，ISP的預處理不僅影響傳統算法的有效性，也影響基于深度學習的計算機視覺算法的有效性。而且，随着SoC性能變得越來越強大，與繼續依賴獨立的圖像信号處理器相比，将圖像信号處理功能進行內建變得越來越可行。
此外，神經網絡加速器也是一種極具吸引力的候選技術，可以用于額外執行圖像信号處理功能，而這些功能以前通常是由獨立的ISP處理。一些企業也提出，未來ISP和CNN的功能可以合并成一個統一的NNA。
上圖是Imagination公司給出的一個示例。比如，NNA将首先提供RGB輸出供駕駛員檢視（比如，需要人工監控的功能），然後進一步處理（在相同或不同的NNA上）供計算機視覺系統使用。
實際上，正如馬斯克對于傳統ISP處理的“否定”，獨立ISP和視覺處理SoC的傳統組合應該重新評估。ISP的功能可以直接在NNA上實作，也可以訓練成在NNA上執行的CNN。“這種重新設計的架構，最終的系統級成本都比傳統架構要低得多。”
或許，這才是我們需要正視的ISP“變革”。