“困”在芯片里的小米、OV，为何集体踏上 ISP 芯赛道？
做啦过去十多年，中国的手机厂商们借高通和联发科的 SoC 芯片，推动了智能手机的普及，同时也跻身全球手机行业的前列。然而，随着手机市场竞争的加剧，以及消费者对手机使用体验的更高追求，通用的手机 SoC 成为了手机巨头们提升竞争力的瓶颈
。
于是，小米、OPPO、vivo 相继走上了自研芯片的道路，他们的终极目标是自研 SoC 芯片，但当下都聚焦 ISP（Image Signal Processor，图像信号处理器）的研发
。手机巨头们为什么都选择从自研 ISP 芯片入门？消费者需求、手机厂商的技术积累、ISP 的技术特性、手机市场的未来趋势等都是关键原因，这也是本文将详细解答的问题。
至于手机巨头们自研芯片能否成功？多位业内资深人士都告诉雷锋网，这在于手机厂商的决心。
图片来自 techthelead
“困”在芯片里的手机巨头，踏上自研之路
2013 年 12 月，中国开启 4G 时代。三年后的 2016 年，国产手机开始全面崛起，这一年，苹果和三星在中国的市场份额开始下降，华为、OPPO 和 vivo 的市场份额高速增长，小米也凭借超高性价比迅速占领市场。
两大市场研究机构 Counterpoint 和 canalys 2021 年第二季度的数据显示，小米、OPPO、vivo 位列全球五大手机厂商之列，分别排名第二、第三和第五位，合计市场份额超过 35%。小米创始人董事长兼首席执行官雷军更是在近日放出豪言，“5 至 10 年后，小米会成世界第一的手机公司。”
跻身全球前五的三大手机厂商们有一个共同点，每一代手机功能的重大提升都与高通、联发科当年最新的 SoC 的特性密切相关。这也让他们面临一个共同的挑战，在增长乏力的手机市场，想要实现性能和体验的差异被芯片制约。
自研芯片是一条被证明可行的路径
，苹果、华为和三星都通过自研芯片实现了差异化，并成功占领了高端手机市场。实际上，要冲击世界第一的小米早在 2014 年就踏上了芯片自研之路，在 2017 年发布了首款手机 SoC 澎湃 S1，但体验不尽人意。
有业内人士对雷锋网表示：“澎拜 S1 失败一个非常关键的原因是太急于求成。”
研发 SoC 受挫，小米又在 2019 年研发了一款 ISP 芯片澎湃 C1，这款芯片与 2021 年 3 月发布的小米折叠屏手机 MIX FOLD 同时亮相，能够实现更好的 3A（自动对焦，自动白平衡，自动曝光）处理，自研 ISP + 自研算法也顺势成为这款旗舰手机的一大卖点。
图片来自小米
这边 MIX FOLD 已经开卖，那边 OPPO 和 vivo 也在自研芯片的道路上快步前行。
2019 年 9 月，vivo 执行副总裁胡柏山透露其在 2018 年初就开始考虑深度参与 SoC 的设计中，并在当年年底发布了与三星联合研发的 SoC 芯片 Exynos 980。虽然已经深度参与 SoC 研发，但自研才是 vivo 的目标。界面新闻 7 月报道，vivo 内部代号“悦影”的首款自研芯片即将推出，可能也是 ISP 芯片，将会在 X70 系列手机上首发。
OPPO 公布自研芯片的进展相对较晚，2020 年 2 月 OPPO CEO 特别助理发布内部文章提出了芯片、软件开发、云服务的三大计划，其中芯片项目名为“马里亚纳计划”。有消息人士爆料，OPPO 自研的首款芯片也是 ISP 芯片，将在 2022 年初上市的 Find X4 系列手机上首发。
这就意味着，“困”在第三方手机 SoC 里的三大手机巨头，明年将会进入新一轮的芯片比拼。但为什么是 ISP 芯片？
自研 ISP 的四大理由
自 2017 年全球手机市场增速开始下降，手机厂商们的竞争就愈加激烈。今日头条发布的 2018 年手机行业营销白皮书指出，2018 年手机功能营销的竞争点趋于集中，AI 类特性有 8 个、屏幕类 5 个、解锁方式和配色各 4 个，其中，AI 功能又以 AI 拍照和摄影类居多。
此后的三年间，手机行业对于摄像头的关注只增不减，2020 腾讯手机行业洞察白皮书指出，消费者对摄像头、用途和电池的关注度显著提升，其中摄像头的关注度增长率仅次于操作系统。
“影像系统其实是一个很长的链条，包括前端传感器、镜头、马达，承载图像处理的核心部件 ——ISP 芯片，以及后端标定和调优等过程。”安谋科技高级产品经理柴卫华对雷锋网表示。
图片来自三星
“相同的镜头和传感器经过不同的 ISP，也会有不同的效果。”爱芯科技 ISP 负责人、系统架构师张兴同时表示，“ISP 的价值是提升图像质量。但 ISP 是非标准化的芯片 IP，既有客观的性能指标，比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等。也有比较难以完全客观化的图像评价指标，包括亮度指标（动态范围、对比度、曝光准确和速度等）、色彩相关指标（饱和度、色彩准确度、悦目程度等）、清晰度等。从经验中来，关于图像主观和客观的测试，大概有 40-60 种甚至更多。”爱芯科技是一家 AI 视觉芯片创业公司，AI ISP 是其自研技术之一。
虽然对于好画质很难有统一的标准，但亮度、色彩和清晰度也有一些客观指标，比如有标准的颜色模型衡量色差。“在客观指标达到一定程度之后，客户通常也会根据不同的需求去调整主观指标。ISP 的一个特点是有很多的可调参数，工程师可以调整设计好的 ISP 硬件参数以适应不同的环境。一款好的通用 ISP，要提供有足够灵活性和具备可扩展性。”柴卫华指出。
影像功能是消费者关注的重点，而 ISP 是实现差异化的关键，并且手机出货量巨大，自研芯片如果成功最终可以转化为整机的成本优势，这是手机巨头们选择自研 ISP 的初始动力，也是第一个理由。
“华为能够用自研的 NPU+ISP 实现独具特色的 AI 拍照功能，相比之下，使用高通和联发科 SoC 的手机厂商发挥的空间会受到限制。”耀途资本投资总监于光说，“由于硬件迭代的周期比较长，手机厂商的需求也不能被快速满足，特别是差异化的需求，自研 ISP 芯片实现硬件和软件的紧密结合是一个不错的选择。”
张兴进一步解释，ISP 一旦设计完成，可供调的参数大致就确定了，但是这些参数是有限的，如果想要提供调试出所有风格的可调参数，芯片面积又会很大到无法承受，这中间需要进行平衡。
想要实现差异化的手机厂商们，在影像系统领域有了多年的积累，也就有了自研 ISP 的底气，这也是手机厂商选择自研 ISP 的第二个理由。
研发 ISP 芯片的可行性是手机厂商坚定迈入自研芯片之路的关键，也是第三个理由。亿智电子创始人兼 CEO 陈峰说：“由于 ISP 芯片更加专用，研发 ISP 在生态上的限制小很多。研发 ISP 的主要挑战主要有三点：由于图像算法每年都有新的方法，技术在不断迭代；另外，图像的效果需要在满足图像测试客观指标之外，也需要在主观效果可调整性上下功夫；最后是需要适应不同的场景，ISP 要能够做到自适应调整好各个环境下的参数。”
芯片公司最宽的护城河就是生态，既然 ISP 芯片的生态限制相对较小，再加上手机厂商在算法以及对场景需求的理解上已经有丰富的经验，并且已经各有特色，特别是在场景适应方面，手机厂商都有丰富的经验。
手机厂商研发 ISP，还有适应未来视频摄影 + AI 功能竞争的长远价值，这是第四个理由。
“手机厂商已经在拍照中享受到了 AI 算法带来的好处，包括超级夜景、AI 美颜等功能，从趋势来看未来几年，AI 拍照最火的几个功能会从拍照推向视频。这就需要一颗高效的 AI ISP 芯片，以及将 AI 算法和传统 ISP 进行更好的结合。”张兴认为。
柴卫华也认为：“随着短视频的需求发展，手机也越来越重视视频拍摄的性能。视频流对于 ISP 除了有画质的要求之外，非常重要的挑战就是实时性。要实时处理 4K 甚至 8K 视频的海量数据，呈现完美的影像效果，处理器性能、算法优异、存储带宽和与系统延迟都是挑战。”
AI 是提升拍照和视频效果的关键。陈峰指出，目前 AI 与 ISP 结合主要有两种形式，一种是 ISP For AI，这种结合方式主要用于检测或识别功能的产品，目标是保证检测或识别的准确率，比如人脸门禁以及辅助驾驶。另一种是 AI For ISP，这种结合是用 AI 替换 ISP 中的一个或多个图像增强算法，在包括 HDR（高动态范围）、夜景降噪、超级分辨率等方面有较好的效果。
“近几年，手机业界发现在目前 AI 算力的支持下，AI 算法已经超越了传统 ISP 算法的效果，因此目前主流的趋势是用 AI 算法替代一个传统算法，或者将 AI 算法与传统算法结合。”张兴进一步表示，“要充分发挥 NPU 算力与 ISP 结合的价值，实现真正意义上的 AI ISP，需要在设计的最初就将两个 IP 结合起来设计。如果是买来的 IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费。”
陈峰具体指出，“在视频应用领域，效果稍微好的 AI 降噪算法，实时处理 1080p@30fps 视频就需要 10Tops 以上的算力，目前这种应用方案还比较少。”
总体看来，消费者对手机更好拍照和摄影功能的追求是原动力，在手机厂商有手机多年影像技术积累的前提下，自研 ISP 芯片成为了手机厂商可实现的目标，而将 AI+ISP 的能力从拍照延伸至视频领域能够提升手机厂商当下和未来的竞争力。自研 ISP 芯片自然成了手机厂商们不约而同的选择。
冲击高端成败的关键在“决心”
接下来的关注点是，自研 ISP 芯片到底能带来哪些不同？已经发布的小米澎湃 C1，官方的说法是自研 ISP 将数字信号处理效率提升 100%，可以进行更精细、更先进的 3A 处理。
业内一位资深人士说：“澎湃 C1 实际上是一个协处理器，或者说 Pre-ISP，在 SoC ISP 前进行图像处理，相对而言会比较容易处理，能够辅助处理一些特定场景的应用。不过，由于是在 SoC 外单独增加了一颗芯片，因此无论是成本还是功耗都会有所增加。”
至于实际的使用体验是否有明显的速度和质的提升，还需要更多的用户反馈。
手机厂商的自研 ISP 要从卖点真正转化为差异化优势，ISP 团队非常重要。“ISP 的发展一直在进步，远还没到成熟的阶段。要设计出有竞争力的 ISP 芯片，取决于队伍自身的成熟性。有公司做了十多年 ISP，也没有进入行业的一流水平。当然，这也与一家公司对于 ISP 的认知以及投入有很大的关系。”张兴表示。
业内资深人士也表示，“手机厂商自研芯片成败的关键在于投入的决心，特别是 SoC。”
但国内整个芯片行业都缺人才，想要组建有丰富经验的 ISP 团队挑战巨大。柴卫华说：“ISP 研究与发展涉及到算法、电路设计、系统整合、器件调较、画质调优等多方面。因此相应的人才要求不仅专，而且广，除了需要掌握数学、物理、计算机、集成电路的知识，还需要有光学、颜色等学科知识。国内在这一领域的积累还比较有限，所以相关人才也比较缺乏。”
“国内在手机 ISP 领域有丰富经验的人才本来就比较有限，不过现在华为海思的不稳定，展锐也有一些相关的人才，这都是其它公司获取人才的机会。”业内资深人士表示。
“即便能设计出有竞争力的 ISP。要让消费者对手机厂商的自研芯片有认知也需要时间，我认为这至少需要 2-3 代的迭代。”一位芯片行业的分析师对雷锋网 (公众号：雷锋网) 表示，“我认为小米和 OPPO 自研芯片从现金流的角度会更有优势，而 vivo 挑战会更大一些。”张兴表示。
该分析师同时表示：“自研 ISP 主要会用于高端手机，因此对高通的影响可能会大一些。”
有意思的是，联发科在今年七月份发布了天玑 5G 开放架构的平台，基于其旗舰 SoC 为手机厂商提供更接近底层的开放资源，包括相机、显示器、图形、AI 处理单元、传感器和无线连接等子系统。这既可以理解为顺应手机厂商自研芯片追求差异化的趋势，也可以理解为阻挡手机厂商自研 SoC 的举措。
无论如何，自研芯片都是手机厂商站上手机市场金字塔顶端的必选项，但这条路在时间、技术和资本投入方面都充满挑战，高通和联发科在手机 SoC 领域都有几十年的积累，苹果和华为也是经历十多年的努力和迭代才取得了如今的成就，而小米、OPPO、vivo 才刚刚开始。
小米 ISP 芯片架构师左坤隆在《强国基石》的纪录片中透露，ISP 只是小米自研芯片的起点，其 SoC 同样也在研发中。
据悉，小米和 OPPO 都在上海大力招聘芯片人才，有消息称 OPPO 芯片团队的人数已经超过千人。他们是要直接要研发一款 SoC 芯片还是会研发其它单芯片？上述分析师认为电源管理芯片是不错的选择，因为快充也是手机的一大卖点。
于光指出，在电源管理芯片市场已经有一些不错的创业公司，手机巨头们在这一领域也已经投资了多家公司。
热闹过后，谁会是下一个拥有自研 SoC 高端手机玩家？
