天天看點

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

智東西(公衆号:zhidxcom)

作者 | 雲鵬

編輯 | 漠影

如今每個人對于“AI”這個名詞或許都能聊上兩句。各類智能硬體裝置不斷深度介入我們的生活中,大到智能汽車、小到一部手機。

在智能硬體爆發的背後,AI算法也在快速疊代發展,算法模型越來越複雜,對于硬體的要求也更高,“AI晶片”這個概念也成為了近幾年來AI産業關注的焦點之一。

其實,能夠用于人工智能應用、實作AI加速的子產品,都可以稱為廣泛意義上的AI晶片。比如我們大多數人手機處理器中的NPU(神經網絡處理器)子產品,就是一種AI晶片。

就在兩天前,OPPO釋出了自家第一個自研晶片,這是一個專門用于影像處理的NPU晶片,名為馬裡亞納 X,與世界上最深的海溝“同名”,OPPO要趟自研晶片這最深的水。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

面向AI應用的全新DSA架構、台積電6nm先進工藝以及40倍的AI能效比提升,馬裡亞納 X将手機計算影像推向了“4K+20bit RAW+AI+Ultra HDR”的時代,同時,也首次将AI影像算法與傳感器、SoC進行了垂直整合,完成了影像鍊路的閉環。

一句話來說,馬裡亞納 X作為開發專用AI算法,到算力硬化全鍊路垂直整合能力标準對晶片,彌合了AI算法與硬體之間的鴻溝,成為加速AI算法落地的“橋梁”。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

正如OPPO創始人兼首席執行官陳明永所說,OPPO已經走入了技術研發的“深水區”, 對于OPPO來說,馬裡亞納 X的落地證明了OPPO自研晶片的技術與能力,而對于AI産業來說,馬裡亞納 X或許為AI在移動領域的加速落地提供了新的思路。

一、AI能效比暴漲40倍,算法落地視訊成為可能,DSA架構劍指計算影像

從晶片技術架構來看,常見的AI晶片主要有通用晶片(CPU、GPU)、半定制化晶片(FPGA)、全定制化晶片(ASIC)、類腦晶片以及軟體定義硬體晶片五大類。

馬裡亞納 X這枚NPU主要用于手機影像計算領域,相對來說應用更專一,并且晶片專門為提升OPPO手機的影像體驗而定制對專用AI晶片,其中既有接近ASIC晶片的專用性而帶來的超高效率,同時又具備AISC所沒有的靈活性。

目前通用手機SoC中都包含了ISP(圖像信号處理)子產品,顧名思義,ISP的主要作用是對圖像傳感器采集到的資訊進行處理,它也是一種ASIC晶片,但大都內建于手機SoC中。

而ISP與馬裡亞納 X最核心的差別就在于ISP并不具備AI性能,在SoC中必須要依靠另外的AI計算單元來配合。例如蘋果A系列晶片的ISP,也需要依賴整個晶片的Neural Engine提供AI的算力支援。

馬裡亞納 X的AI算力達到了18TOPS,已經可以比肩蘋果A15,而在峰值算力強勁的同時,實作較好的能效是OPPO更加看重的,這一點在手機這類移動裝置上顯得尤為重要。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

馬裡亞納 X能夠做到11.6TOPS/W的能效比,這是移動裝置中罕見的兩位數對能效比性能,意味着手機能夠在消耗既定電量都條件下,能夠處理更加大量的資料。值得一提的是,該結果是基于真實落地商用的複雜AI算法和随機生成圖檔得來,實際上,如果基于現實世界的人像、風景等真實圖檔進行處理,馬裡亞納 X的能效比還會更高。

與搭載骁龍888的Find X3 Pro進行對比,馬裡亞納 X運作OPPO自研AI降噪模型的性能可以達到40FPS,大約是OPPO Find X3的20倍。在此基礎上,馬裡亞納 X的功耗僅有800毫瓦,僅為OPPO Find X3上骁龍888的一半,是以能效比達到了40倍,這種提升無疑是一種“質變式”的。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

實際上,雖然手機計算攝影發展多年,但大多數AI算法仍然隻能針對單張或者多張照片進行處理,比如AI美顔、AI夜景拍照的後處理,本質上依然是以時間換計算,如果要算的更多,那意味着消費者往往需要在拍攝後等待更久的處理。

但這樣的算法,面對需要實時處理大量視訊拍攝卻很難應用。因為在視訊拍攝中,AI算法運作最低性能門檻也要有30FPS,這意味着晶片需要提供30倍以上的性能,才能讓後處理的算法,能夠實時去運作。

可以說,馬裡亞納 X讓算法在視訊端的應用從不可能變為了可能,這對于AI算法應用效果的提升來說是“從量變到質變”。

基于這樣的AI性能及高能效比,馬裡亞納 X在手機影像領域實作了諸多突破。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

比如在成像的動态範圍方面,馬裡亞納 X最高能夠支援20bit Ultra HDR成像、覆寫100萬:1的最大亮度範圍,這樣的能力已經媲美“人眼級”,也是目前行業中如骁龍8、天玑9000這類主流移動SoC HDR能力的4倍。

根據OPPO給出的拍攝樣例對比可以看到,在人像拍攝和靜物拍攝兩類場景中,采用馬裡亞納 X方案的機型拍出的視訊,可以明顯提升暗部的細節,同時高光部分也沒有過曝現象。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

在強勁AI性能和對影像體驗的直覺改善背後,馬裡亞納 X晶片在架構層面也進行了大膽突破。

馬裡亞納 X采用了AI時代的DSA架構理念,簡單來說,DSA就是“應用在特定領域的架構”,馬裡亞納 X的“特定領域”,顯然就是手機計算影像。

目前在通用手機SoC中也有用于提升AI算力的子產品,不同的廠商或許叫法不同,但可以廣泛地看作一類通用NPU,這種通用NPU要兼顧很多不同場景中的算法模型。

相比之下,馬裡亞納 X的DSA架構更加專用,針對OPPO自研的AI模型去硬化對應的算子,這也是OPPO影像專用晶片與傳統NPU的核心差別之一。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

可以看到,OPPO在通過一種“專芯專用”的晶片設計思路,彌合傳統硬體和AI算力鴻溝。而在核心的AI性能領域,馬裡亞納 X已經具備足夠能力突破目前手機計算攝影的“天花闆”。

二、AI賦能千行百業之下,OPPO成AI賽道黑馬

馬裡亞納 X的發力點是手機計算影像,而放眼整個AI行業,AI落地的大潮已經在千行百業中快速滲透。

“AI晶片将無處不在”的預言正在成為現實。從智能手機到智能家居,從資料中心到邊緣裝置,我們的生活正在被AI晶片全面入侵。

僅僅在智能手機領域,AI技術已經深入移動遊戲、視覺識别、音頻互動、通信優化、智能充電等各個角落。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

業内通常将AI産業分為應用層、技術層和基礎層,其實OPPO目前面向萬物互融時代的“3+N+X”戰略,包含了軟體硬體基礎技術、AI技術以及以充電、影像為代表的差異化技術,在AI産業的應用層和技術層,OPPO已有較多儲備。

而此次的馬裡亞納 X,顯然是OPPO面向AI晶片領域的一次大膽探索和前瞻性布局,AI晶片也是目前AI産業基礎層中愈發重要的一環。

在AI晶片中的通用CPU、GPU領域,由于GPU擅長重複性高的大規模并行計算任務,是以可以作為AI加速器使用。

在這一領域,英偉達因其成熟高效的GPU解決方案,在AI訓練晶片市場中獨領風騷,其各類AI加速器産品在業内被廣泛應用于雲端和終端側。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

▲NVIDIA A100 GPU

如英偉達、AMD、英特爾這樣的頭部玩家,通過定制化CPU和GPU提供AI加速器解決方案,成為了全球AI領域基礎設施建設的最大獲益者,不過他們的産品鮮有涉及移動端,主要以面向桌面端平台為主。

在移動端,手機AI晶片目前還主要以NPU子產品的形式存在于通用手機SoC中,這也與手機的算力需求以及功耗要求密切相關。

由于能效比要求更高,并且定制化需求更加“千人千面”,移動端也需要有針對性的AI晶片産品出現。

從過去兩年來看,手機AI晶片市場格局基本穩定,由蘋果、華為、高通三大巨頭牢牢把控高端市場,聯發科、展銳等廠商在中端及入門級市場中表現亮眼。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

但實際上,随着手機功能越來越豐富,以計算影像為代表的應用場景對于算力和功耗的要求越來越苛刻,這些通用手機AI晶片應對某個特定領域的AI需求已經有些捉襟見肘。

此時OPPO無疑成為了手機AI晶片領域的一位新晉玩家,用三年時間,經過上千人研發團隊的努力,終于将馬裡亞納 X這枚影像專用NPU帶到了我們的視野中,并即将于明年落地在旗艦級Find X系列中。

OPPO自研影像專用NPU背後,成為AI賽道黑馬的野心

除了對于AI産業基礎層AI晶片的突破,OPPO也把握住了一次AI産業中的重要趨勢變革,也就是軟硬體的深度結合,将算法寫入硬體中,做“硬體級的算法”,也一直是OPPO緻力實作的目标。

在終端AI晶片在移動領域的應用側,OPPO在特定領域率先實作了突破。

與其說OPPO在做一個影像專用NPU晶片,不如說OPPO在用一種新的思路,實作AI算法在終端側的加速實作。

結語:OPPO亮劍AI晶片産業

馬裡亞納 X以其強勁的AI算力和AI能效比,顯著提升了手機計算影像的體驗,同時也用軟硬體深度結合、專芯專用的思路和方式,準确切入了AI晶片賽道,成為終端AI晶片産業的一位新晉玩家。

在AI強勢侵入并颠覆各個傳統領域的同時,AI晶片正在雲計算、手機、安防監控、智能家居、自動駕駛等場景上演新的群雄争霸賽。終端AI晶片戰場格局複雜,新老玩家、跨界玩家交融,各展其華,而OPPO也走出了一條屬于自己晶片之路。

繼續閱讀