「名詞解釋」影像戰略釋出會

一、理念名詞

1.1-【人性化的專業影像】

vivo希望把各種複雜的影像技術和經驗都放進手機，隻需要簡單地按下快門，就能創作出屬于你的作品。專業創作者可以用它滿足極限環境下的創作需求，普通人也可以通過簡單操作收獲令人動容的影像。這就是vivo所一直追求的“人性化的專業影像”。

1.2-【還原眼之所見，超越眼之所見】

還原，是對客觀世界的記錄；超越，則是把主觀情感投射到影像中，是vivo的影像理念。

二、影像技術矩陣名詞

2.0-【vivo影像技術矩陣】

vivo影像技術矩陣具體分為七個部分：光學感覺系統、臻彩還原引擎、超清畫質引擎、算力加速引擎、環境了解技術、超感人像系統、蒼穹夜景系統；目标達到“三個比肩”：比肩專業影像裝置，比肩專業攝影團隊，比肩專業後期能力。

2.1-【光學感覺系統】

光學感覺系統包括光學模組和鍍膜等技術。比如VCS仿生光譜技術，通過改善Sensor QE光譜，提升信噪比和色彩還原能力，讓傳感器接收的原始資訊不斷接近人眼，打造良好的成像基礎。

2.2-【臻彩還原引擎】

主要支撐技術為智能AWB和智能白加黑減，能夠提升白平衡準确性和大面積“白”“黑”場景的曝光準确性，将vivo的色彩表現和影調觀感優化到極緻。

2.3-【超清畫質引擎】

超清畫質引擎的典型技術為光學超分算法，通過對鏡頭的缺陷模組化分析，恢複了約35%的損失資訊。光學超分算法是實作超清畫質的起點，引擎中還有Denoise、Demosaic、Deblur等子產品，進行耦合訓練，形成了系統性的AI畫質方案——超清畫質引擎。可以實作多幀畫質重建，達到更好的畫質和更廣的動态範圍。

2.4-【算力加速引擎】

算力加速引擎，是一套軟硬結合的加速方案，vivo基于自研晶片和平台SOC設計研發了CV異構加速引擎和vDNN深度學習加速引擎，是分别針對傳統CV算法和AI算法的加速引擎，可支撐多芯結合的異構加速，實作多資訊協同并高速處理。

2.5-【環境了解】

環境了解會對場景進行識别，比如色溫和亮度檢測的技術、運動檢測的技術，基于環境的進行資訊提取，協助3A等子產品，作出最佳的拍攝判斷。

備注：3A技術即自動對焦(AF)、自動曝光(AE)和自動白平衡(AWB)

2.6-【超感人像系統】

超感人像系統三大核心技術子產品：人像了解、人像美化、人像氛圍。

第一步，人像了解——像攝影師一樣讀懂人像資訊

vivo“人像了解技術”會像專業修圖師一般進行分區檢測，對人臉進行語義重點和輪廓細節的提取，建立多達103個特征點的關鍵人臉坐标，點位精度誤差小于2像素。同時，會對畫面中的皮膚、手勢、肢體關鍵點進行檢測，主體分割IOU達到了96.15%的精确度，為靜态人像重塑和動态人像抓拍提供了精細化的處理能力。

第二步，人像美化——微米級人像細節美化

vivo以不同年齡、性别、場景的數以百萬計的素材，經過反複的機器學習成長，推出vivo全新更新的微米級煥膚塑顔技術，使皮膚觀感更加自然、健康，也更好地保留了五官的立體感。

第三步，人像氛圍——營造獨特的氛圍感

vivo對于人像的思考不止于人，人與景的關系是人像的另一個重要的次元。vivo“人像氛圍融合”技術，基于人像語義了解，在影調、色彩、亮度、虛化等層面上進行人與場景的融合處理，實作人與景和諧、自然的效果。

2.7-【蒼穹夜景系統】

蒼穹夜景系統進行全面AI更新，基于百萬夜景照片訓練出三個全新模型：超感光模型、全分割語義模型和臻彩影調模型。超感光模型：将感光能力最大提升了100%，ISO最高可支援102400；全分割語義模型和臻彩影調模型聯合，實作了自适應的影調和色彩調整能力。

三、影像晶片名詞

3.1-【AI-ISP】

在下一代自研晶片的設計中，vivo更新了全新的架構，從傳統ISP架構更新到了AI-ISP架構，實作了跨越式的技術革新。傳統ISP能以極低延時處理大量的資料流水，但是隻能解決已知的、特定的問題。AI擅長處理複雜的、未知的問題，但是延時較大。

AI-ISP結合兩者的優勢，相當于給傳統ISP晶片加一個新的AI大腦，這個AI大腦的神經元分布是網狀結構的，更适合海量的發散式資訊處理。相比于傳統的架構，AI-ISP能夠通過硬體直連的方式将AI計算直接融入ISP Pipeline中，完成資料的無縫緩沖和處理，處理能力、處理能效都有大幅提升。

基于AI-ISP這個架構革新，vivo在下一代自研晶片上實作了三大突破: 片上記憶體單元的突破、AI計算單元的突破、圖像處理單元的突破。

3.2-【vivo自研片上記憶體單元】

作用：提升資料吞吐速率。

行業常用的DDR架構的記憶體單元，采用片外存儲的形式，存在延遲高、功耗高的弊端，限制了資料吞吐速率，限制了視訊類資料推理運算的效率。

為了解決這個問題，vivo在記憶體單元的設計中，堅持使用昂貴的DDR-Less片内近存運算架構，配合硬化在片上的超大SRAM，實作了運算快、延時低的特征，使資料吞吐速率達到了不可思議的1.3萬億比特（bit/s）。

3.3-【vivo自研AI計算單元】

作用：帶來超高的能效比。

vivo選擇了更适合做複雜計算成像運算的DLA加速器。AI算法是資料驅動的。在運算過程中，需要大量的資料比較、拟合。要想進一步突破能效比，就要解決延遲和功耗兩方面的問題。

延遲方面，DLA加速器中内嵌了專用的片上SRAM，并且可以與其他子產品共享自研記憶體單元上的系統緩存，大幅減少了資料通路延遲。

功耗方面，vivo将算法和DLA聯合定制設計，實作了軟硬協同優化。DLA加速器的峰值能效比達到每瓦16.3萬億次運算（Tops/w），妥妥的天花闆水準。

【備注】DLA是Deep Learning Accelerator深度學習加速器的縮寫

3.4-【vivo自研圖像處理單元】

作用：帶來了全新的算法效果。

比如AI-NR降噪算法。結合新的硬體能力，vivo把V1+的NR算法做了AI化的更新，通過AI運算，帶來了更好的夜景畫面細節，夜景降噪效果提升了20%（vivo實驗室）。

再比如HDR影調融合（Tone mapping）算法，配合電影級的3D LUTs色彩風格，可以滿足專業使用者的一級整體調色、二級局部調色的需求。在城市夜景下，動态範圍較之前，理論最大提升4EV。

還有大家熟悉的MEMC插幀算法，也進一步改善了延遲問題，提升了效果。

四、風光/夜景相關技術名詞

4.1-【“智能白加黑減”技術】-影調技術

有經驗的攝影師，會根據主體與所處環境的關系調整曝光，手動增加或者減少曝光，這就是攝影中的“白加黑減”。在X80上，vivo推出了“智能白加黑減”技術。現在vivo又将AE訓練集拓展至原來的5.5倍。将使用者痛點場景進行了影調優化，曝光準确性提升了14%，觀感上更加通透立體。

備注：白加黑減的原理

白加黑減不是适合所有的場景拍攝，隻有在拍攝物體是純白色或純黑色的情況下，相機的智能系統會認為物體過曝或欠曝，會自動降低白色的曝光和拉高黑色的曝光，本身白色和黑色的物體就成了灰白和灰黑的狀态（也就是18度灰），是以要加曝光補償和減曝光補償去還原白色與黑色的純度。

4.2-【SuperRAW】-畫質技術

vivo為專業人士提供更為強大的RAW輸出功能，可以輸出14bit高位深的多幀算法融合SuperRAW檔案，其色彩資訊量是單幀RAW的16倍。理論上可最多承載4.39萬億色的色彩資訊，實作高達15EV的動态範圍。技術首發vivo X70系列。

備注：RAW格式

有高寬容度的特點，這是源于它記錄了大量的原始資料，是以使用者可以在原始資料所記錄的範圍内做自由調整，實作照片的美化及校正處理。

4.3-【光學超分算法】-畫質技術

手機因為體積限制，導緻在光學上做了一些妥協。以潛望攝像頭為例，原始圖像經過鏡頭之後會損失50%的資訊。為了改善這種現象，vivo研發了“光學超分算法”，通過對鏡頭的缺陷做模組化分析，恢複了約35%的損失資訊。

“光學超分算法”隻是實作超清畫質的起點，vivo耦合了Denoise、Demosaic、Deblur等子產品，經過1億多次的場景訓練，将上一代算法深度運算能力提升10倍，建構了全新的超清畫質引擎， 将畫質處理從單點方案，更新為系統性的AI解決方案。

4.4-【VCS仿生光譜技術】-畫質技術

VCS仿生光譜技術（vivo Camera-Bionic Spectrum）

光線在進入感光元件時，會先通過color filter，而普通圖像傳感器的color filter光譜與人眼差異很大，需要經過複雜處理後，才能還原人眼所感覺的資訊，這個處理過程會導緻畫質變差。VCS技術，就是通過改進color filter，讓傳感器接收的原始資訊不斷接近人眼，進而實作更好的噪聲表現和色彩還原，信噪比提升20%, 色彩還原提升15%。

【備注】VCS仿生光譜技術，在光學感覺環節。和華為計算光學不同，華為的計算光學更像我們的光學超分算法，是感覺後的補償動作。

4.5-【RGBW技術】-畫質技術

RGBW技術是在原有的RGB三原色上增加了W白色子像素，成為四色型像素設計，是sub pixel rendering技術方式。在新的像素排布方式下實作色彩表現的一緻性。同時大幅度提升了液晶面闆的透光率，在顯示相同亮度的畫面時，其耗電量更低;而相同功耗的情況下，亮度大幅提高，這使得畫面層次更加分明，畫面更通透。

【備注】X80上已釋出技術，作為補充輸入

五、人像相關技術名詞

5.1-【人像了解技術】

vivo“人像了解技術”會像(click)專業修圖師一樣進行分區檢測，分析人臉的語義重點和輪廓細節，建立多達103個特征點的關鍵人臉坐标，平均點位精度誤差小于2像素。同時，會對畫面中的皮膚、手勢、肢體關鍵點進行檢測，主體分割 IOU達到了96.15%的精确度，為靜态人像重塑和動态人像抓拍提供了精細化的處理能力。

5.2-【微米級煥膚塑顔技術】

利用類似人工智能訓練生成對抗網絡技術，不斷地通過修圖器跟修圖評估器的博弈來找到修圖最好的方向。訓練過程簡言之就是，給AI一張圖檔讓算法修圖，然後去判斷，同樣一張圖跟修圖師精修出來的圖檔相似程度如何，根據判斷結果實作AI算法的不斷進化。vivo通過對不同年齡、性别、場景的數以百萬計的素材的反複的機器學習，打造了全新更新的“微米級煥膚塑顔技術”，使皮膚觀感更加自然、健康，也更好地保留了五官立 體感。

5.3-【人像氛圍融合技術】

基于人像語義了解，vivo“人像氛圍融合”技術在影調、色彩、亮度、虛化等層面上，進行人與場景的融合處理，實作人與景和諧、自然的效果。

5.4-【深度感覺虛化】

深度感覺虛化，是一項vivo的算法技術。想要還原鏡頭的成像，一定要通過深度計算獲得圖檔的深度資訊，并給予圖像合理的虛化效果。vivo的虛化算法結合了雙目深度圖和人像、手勢分割，采用了深度卷積網絡，保證焦内主體清晰。焦外物體的虛化程度也是有講究的，前景到焦平面，焦平面到遠景，每個鏡頭各不相同，但vivo都建立了虛化模型，通過函數計算虛化的程度和光斑大小，最終呈現出景深範圍内清晰，景深範圍外深度漸進的3D-pop虛化效果。

六、視訊相關技術名詞

6.1-【HDR影調融合算法】

HDR影調融合技術主要是與視訊相關的技術，包括一級整體調色和二級局部調色，同時動态範圍也會較之前理論最大提升4EV。

【備注】跟XDR技術、Super HDR有什麼不同

• XDR技術為顯示技術；
• Super HDR為拍照技術，目前已經更新到RAWHDR技術。

6.2-【專業LOG模式】