今日，OPPO 首款自研芯片“影像专用 NPU-马里亚纳MariSilicon X”正式揭晓，也揭开了 OPPO “造芯”的神秘面纱。
OPPO 创始人暨 CEO 陈明永在2019年指出，要成为世界一流的科技公司，除了产品创新之外，还要更关注核心技术的研发。OPPO 将在未来三年投入 500 亿元的研发资金，关注 5G/6G、AI、AR、大数据等前沿技术，包括底层硬件核心技术以及软件工程和系统能力。
今日，OPPO 首款影像专用 NPU 芯片的问世，呼应陈明永“打造硬件核心技术”的说法。
自 2019 年立项起，OPPO 自研芯片经历两年多的酝酿，选在 2021 年推出马里亚纳 MariSilicon X 芯片，将以 NPU 芯片在影像技术领域大杀四方，更成功完成国内头部手机厂商群起“造芯”的最重要一块拼图。
从今年手机大厂推出自研芯片的超火趋势，以及 OPPO 今日端出来的影像 NPU 芯片，我们可以思考两个方向：
第一，为什么国产手机都不约而同加入自研芯片行列？
第二，OPPO 的 NPU 芯片此时加入战局又能带来什么样的质变？
当前，国内头部手机大厂朝自研芯片一途大力挺进，前方已经有苹果、三星、华为验证了这是一条正确的道路。
苹果 iPhone 手机从 A 系列处理器到定制化影像所呈现的系统差异化优势，就像是一个成功方程式将苹果推向全球市值最高的科技企业之路。
华为加上海思的芯片研发团队，也是另一个自研芯片带来巨大红利的典型案例。打从华为成功站稳自研芯片和影像技术两大赛道，在国内的手机市场份额一度超越苹果。再者，日前连科技巨头谷歌也走上自研 SoC 之路，宣布推出 Tensor 处理器。
眼前的国内高端手机市场因为华为的淡出而进入重构时期，尤其是手机市场增量受限，功能差异不大，谁能掌握系统底层技术，打造研发生态圈，创造核心竞争力将是未来获得更高市场份额，以及竖立高端品牌价值的突围关键。
在所有手机能展现的功能中，如何让影像达到极致效果，是体现手机价值的最佳方式，现在消费者重视的不单是拍出完美照片，更要拍出好的视频。
当谈到 OPPO 为什么要造芯？ OPPO 芯片产品高级总监姜波表示：“未来十年，计算影像将主导整个影像新的技术发展。”
以往我们谈论手机影像时，多聚焦在 CMOS 传感器、摄像头的配置等，其实计算芯片在整个手机影像系统上是关键角色。有人曾经做过一个比喻，如果把摄像头视为前方打仗的士兵，计算芯片就是指挥官角色;如果摄像头是的“眼睛”，那影像芯片就是“大脑”。
芯片要肩负处理的重任，在当下更重了，包括暗光环境下的拍照表现、细节还原、降噪能力等。如果只是单纯以传统的 ISP 图像处理器来强化这些性能，那最终手机影像呈现出来的水平，将很难达到超出现有水平的效果。
这也是为什么 OPPO 会诚意十足地以一颗高性能、高成本的影像 NPU 芯片，来作为自研芯片首部曲。这点迥异于其他同业与手机处理器业者采用传统 ISP 算法，所反映出来的技术能力也是高下立判。
唯有高性能的 NPU 可以完善处理复杂的 AI 影像，释放对画质的强大处理潜力，这一点在影像降噪方面格外重要。近期权威峰会如 CVPR 榜单显示，AI 技术在影像领域的运用较传统多帧已形成显著领先，降噪 PSNR Top10 都运用深度学习方法。
这对于影像在弱光下的细节表现和色彩还原等方方面面，都会有本质的改变。从官方信息来看，OPPO 这颗 NPU 芯片也是目前安卓手机中，唯一可以拍 4K 30fps + AI 降噪的极暗视频的芯片。
姜波进一步分享他的观察，“过去十年，OPPO 从传感器传感器的定制，到摄像头模组的定制，到摄像头的定制都有很好的积累。基于通用的 SoC 平台，也有很多 AI 算法的积累，包括传统算法（CV算法）和 AI 算法。进而也观察到一个痛点，通用芯片达成终极体验有一些挑战的。举个例子，定制化的传感器需要 SoC 做相应的配合，但大的 SoC 研发周期非常长，传感器需要的时间非常短，兩者很难寻求平衡。”
在通用芯片无法满足 AI 对计算影像在算力和能效上的需求时，自研专用的影像 NPU 是最好的答案。
不过，要用 NPU 芯片来处理影像，首先要克服的最大难题是功耗，其次是解决功耗问题带来的高成本。这也是为什么 OPPO 这颗 NPU 芯片是采用台积电的 6nm 工艺技术打造。
OPPO 姜波透露，最初在 12nm 和 6nm 工艺技术上做评估时，12nm 芯片无论是研发周期、基础 IP 的可获取性都好很多，但最后 OPPO 仍是选择 6nm 工艺。
他也指出，整颗芯片最开始预研的时候，功耗是很大挑战。如果手机上没有功耗约束，可能谁都可以把性能做得很好，但一旦有了功耗约束后，很多事情都会变得非常难，甚至变得不可能了。
他进一步解释，经过审慎评估，内部认为如果做出的芯片成果还比不上之前的 5nm SoC 的整体效果，那加一颗芯片有什么意义呢？同时，iPhone 本身也是一个标杆，如果最后做出来远远不如他们，那也没有意义，也丧失了做一颗芯片的初心和原点。
姜波也进一步解释，在做这颗芯片开发前，内部做了蛮多仿真，最后得出的结论是，即便有 MariNeuro、MariLumi 等自研的 IP 投入，用 12nm 也很难达到作为终端层面功耗性能极致的要求，因此认为是必须选择 6nm。
根据《问芯Voice》了解，这颗 6nm 的芯片是一次就流片成功。
姜波指出，由于这是 OPPO 第一颗芯片，在之前没有成功流片的经验下，这时需要公司的经验和能力，有时间还需要一点点的运气。过程就像走钢丝，一旦有些东西没有控制好，最后的目标是达不成的。
再来看看这颗马里亚纳MariSilicon X 芯片作为 OPPO 发布第一颗自研芯片拥有哪些特点，《问芯Voice》在此归纳四大核心技术亮点：
第一，AI 能效突破：有两个关键数据：一个是 18TOPS，第二个是 11.6TOPS/W。首先是这颗 NPU 带来了18TOPS 的算力，超过苹果 A15；其实，手机上的 NPU 最关键难点不在于算力，可以通过面积加大而把算力堆起来，但MariSilicon X 的能效达到 11.6TOPS/W 是非常不容易的。其次，是运行 OPPO AI 降噪模型的速度是达到 Find X3 Pro（骁龙888）的 20 倍，能效达到 40 倍。
第二，20bit Ultra HDR：最高支持人眼级别的 20bit Ultra HDR，能覆盖 100 万:1 的最大亮度范围，是目前行业主流 HDR 能力（骁龙 8、天玑 9000）4 倍。
HDR是图像处理非常关键的指标，最近行业里发布了两颗旗舰 SoC 不约而同都是 18bit。通过自研 IP MariLumi 和 MariSilicon X 芯片，得到的图片动态范围与目前旗舰相比是4倍的概念。这颗芯片 20bit-120dB 是意味着对于一张图片而言，最暗和最亮的部分相差 100 万倍。
第三，实时 RAW 计算：RAW 域是计算影像的黄金点。除了 HDR AI降噪之外，所有复杂的算法和运算都是放在 RAW 域上做的，是实时的 RAW 域处理。
姜波介绍，手机处理影像过程中，首先是一个RAW信息，之后转成 RGB，再转成 YUV，每一步都有信息损耗。现在 FindX3 Pro 上 AI 降噪的算法是放在 YuV 上做的，已经非常吃算力，最多只能做到 18bit 的 HDR。而马里亚纳 X 这次的做法是把计算完全前置，把 YUV 的简单算法，刷新成针对 RAW 的复杂的 AI 算法，利用 RAW 的线性度、色彩比较好，会有更原始的信息，处理的效果也更好，而这颗芯片是支持 20bit RAW 计算。
第四，RGBW Pro：通过双链路的设计和 2x RAW 计算，实现 8.6dB 信噪比和 1.7 倍解析力提升。从这个例子来看，作为终端厂商自研芯片的最明显收益，就是可以做到从传感器的定制开始到接收处理，再到影像处理链条的优化，让算法在 NPU 上做到性能的最大化和最优化，这也是 OPPO 作为手机终端厂商可以达到的差异化的点。这一点，与此前华为自研麒麟芯片与定制RYYB的底层逻辑基本是一致的。
结语
MariSilicon X 的问世对于 OPPO 而言不单是自研芯片的第一步，更承载着一家企业对于未来研发转型的一种态度。
《问芯Voice》对 OPPO 提出一个疑问：开发一颗 6nm 工艺技术的芯片是非常庞大的投入，站在 OPPO 的角度是怎么看手机自研芯片的投资跟未来的回报率问题？
OPPO 对《问芯Voice》做了以下的回答：“如果能通过这颗芯片的投入，来解决用户侧的一些痛点和展现价值，那站在公司的立场就非常值得去做。OPPO 作为一家垂直厂商，马里亚纳X是我们在计算影像上一个非常重要的探索。我们发现了计算影像是一个重要的方向，但现有的通用 SoC 很难克服一些痛点，而这颗专用的影像 NPU 就是 OPPO 提出的解决方案。”
确实，芯片研发与制造讲求的是巨额投入和持续性的投入，对于这样的投资不能从营销数字来思考。通过对底层硬件技术的积累与建立，自研芯片所能创造的红利，未来将逐渐反映在一家消费性厂商的企业品牌价值上。