从马赛克到计算摄影！手机影像技术演化全解析

从马赛克到计算摄影！手机影像技术演化全解析

从马赛克到计算摄影！手机影像技术演化全解析,

　　刻录光盘的软件,平面制图软件,网上翻译软件近年来，全球照相机市场急剧萎缩，加之新冠肺炎疫情反复，不少传统影像品牌选择了转产、停产甚至变卖身家：今年1月12日，成立已有32年之久的佳能珠海有限公司宣布停产关门。无独有偶，尼康也在2017年关停了位于中国江苏的生产基地，2021年还关停了日本本土的所有相机生产线，将业务整体迁至泰国。奥林巴斯则于去年将相机业务连同录音业务打包出售给了私募股权公司Japan Industrial Partners，摇身一变成为一家医疗技术公司，同为M4/3阵营的松下也把数码相机业务剥离出了主体公司……

　　根据佳能珠海公布的环境报告书显示，2012年至2020年九年间，数码照相机的产能从2012年的1093万台降至2020年的102.9万台，镜片从3643万片降至1229万片，数码摄影机从57万台降至9.4万台……而这一降幅曲线的时间线，恰好又与智能手机的兴起重叠在一起，根据IDC数据显示，2016年，全球智能手机出货量达到历史峰值的14.73亿台，近年来虽然整体市场趋近饱和，但2021年全球智能手机出货量仍为13.5亿台，与传统相机数百万的体量完全不是一个级别。

　　从3G到5G，伴随微博、微信、抖音、Bilibili等社交媒体的普及化，社交的需求让人们迫切需要一台随时都可以拍照录像并分享的摄影手机，这是推动手机摄影进化的根本。

　　而令人惊讶的是，在摄影术漫漫180多年的历史长河中，第一款摄影手机竟然发布于看起来不那么遥远的2000年，属于纯纯的“00后”，而且手机摄影真正站上舞台中央甚至还不到10年。那么，手机摄影在这么短的时间内是如何做到“乌鸦变鸾凤”的呢？

　　2010年之前的手机摄影处于缓速野蛮生长的阶段，首先是因为智能手机的硬软件性能都还相对羸弱，系统上仍处于功能机与智能机交替的时代，所以这个阶段的手机摄影更多只是起到锦上添花的作用，大多数人出门旅行拍照依然会使用传统的便携式数码相机。

　　2009年的iPhone 3GS才刚刚开始支持视频录制功能，而且静态照片也不过320万像素，彼时的社交还处于网页阶段，大家喜欢在人人网、开心网、QQ空间偷菜抢车位，即便是发照片也都是用传统相机拍摄，所以几乎所有用户对手机摄影的认知都很局限，也并不是什么刚需。

　　史上第一款内置摄像头的手机看上去虽然很复古，但其实它诞生于并不遥远的2000年

　　手机2000年9月，夏普联合日本移动运营商J-PHONE发布了首款内置了11万像素CCD摄像头的夏普J-SH04手机，但是它并没有受到很大关注，而且在中国大陆市场也几乎不见其身影。而之后的几年，市场对于手机拍照功能的热情却大大觉醒了，此功能很快成为了手机的卖点。诺基亚7650、索尼爱立信T68i等产品涌现，其中带有30万像素摄像头的诺基亚7650相信是很多70、80后的第一款拍照手机。

　　时间来到，2006年，大量汲取卡片相机设计经验的三星B600以1000万像素CCD摄影头和颠覆传统的外观降临，作为第一款采用自动对焦功能的手机，它还拥有三倍光学变焦和五倍数字变焦功能，它的出现意味着手机首次拥有了与相机“相提并论”的地位。但站在上帝视角的我们，也见证了手机借鉴相机设计思路的失败，小型化才是整个市场的大需求方向。

　　总得来说，拍照手机发展初期其实是与整个手机行业的进化同步的，不仅仅是摄像头，其他部分如屏幕、处理器都在不断进化。当然，手机类型还以功能机为主，即使勉强可以称为“智能手机”的诺基亚塞班机型也没有太多的拍照应用，拍照手机的第二次革命显然是随着iPhone、安卓手机的进化而展开的。

　　正因如此，2007年可以说是现代手机摄影的“元年”，因为就在这一年，初代iPhone诞生了，虽然只有200万像素，但其颠覆性在于它从硬件到软件生态的执行力，我们现在用的大多摄影摄像App在iOS上都有最佳的性能表现，iPhone的出现对于整个摄影领域而言都具有里程碑的意义。

　　第一代iPhone和安卓手机发布时，其实并没有将拍照作为卖点，比如首款iPhone仅内置200万像素的非自动对焦摄像头，拍摄效果十分平庸。在2010年之前，仍采用塞班系统的诺基亚仍然占有很大优势。

　　而扭转这一局面的重大事件就是苹果在2010年推出的iPhone 4，这款拥有FaceTime+480P前置摄像头和500万像素后置摄像头的智能手机抛弃了传统的设计思路，利用iSight传感器和算法实现了惊人的拍摄效果，同时得益于iOS平台应用的井喷式增长，大量拍摄、分享应用迸发，让用户养成了随拍随发的使用习惯。

　　iPhone 4在摄像头方面的大幅跃进同时也促使了安卓进行开始演化，经典代表就是三星Galaxy S系列，首款Galaxy S也搭载了480P前置摄像和500像素后置摄像头，其中后置摄像头还支持自动对焦，面部识别和防抖功能，同时支持全景扫描拍摄，这些在当下来看都仍是核心的技术也正是在那个时代开始沉淀的。

　　这个时期也处于功能机走到末路的阶段，因为同期的诺基亚也推出了拥有1200万像素的N8，但是由于塞班系统的严重滞后，使得它无法获得用户的肯定，进而影响到了2012年发布的搭载4100万像素的诺基亚808 PureView。由此可见，软件系统平台的使用体验和应用丰富度已经开始站到了舞台中央，成为与硬件规格平起平坐甚至更重要的部分。

　　纵有4100万像素摄像头，诺基亚808 PureView的失败告诉了全世界手机系统的重要性

　　简单来说，从500万像素的iPhone 4开始，手机摄影在苹果的带领下开始进入硬软件高速发展阶段，也就是在这个时间节点，国内的微博、微信，海外的推特、脸书等个人社交媒体开始普及，让拍照成为了社交的刚需，手机摄影也正式成为手机设计的核心点。

　　也是从这个阶段开始，iPhone、安卓、Windows Phone等平台分布已经基本定型，手机摄影技术的提升可以阶段性概括为图像传感器的多样化和图像处理引擎的进步，同时伴随镜头素质的稳步提升，开始出现专为手机定制化的CMOS技术设计，比如，HTC One主打“UltraPixel”大像素面积的概念，增大像素面积但减小像素总量，以此来实现更好的弱光拍摄效果，不过400万像素的分辨率也让很多用户无法接受。

　　采用同样概念的还有苹果的iPhone 5s，但苹果的方法显然更聪明一些，iPhone 5s增大像素面积的同时也等比增大了传感器尺寸，所以800万像素得以保留，实现了“鱼和熊掌兼得”。而诺基亚Lumia 1020则移植了808 PureView的4100万像素传感器，仍然可以凭借超高像素密度实现“无损变焦”的效果，同时Windows Phone平台相对Symbian来说更为强大，拍摄体验和软件应用都要更出色，在当初也引发了不小的关注力度。

　　与此同时，作为CMOS上游巨头的三星、索尼也玩出了不少的花样。其中，三星直接把数码相机上的1/2.3英寸1600万像素传感器和10倍光学变焦镜头移植至Galaxy S4 Zoom上，除了画质提升，安卓系统也带来了更丰富的应用。索尼则主打整合概念，将索尼传统相机的“G”镜头和BIONZ图像处理引擎概念整合到Xperia Z1手机中，2000万像素的大尺寸传感器也拥有不错的画质表现，而且不难发现时至今日索尼也依然在采用这种“从传统相机到手机”的策略。

　　在2016年之前，手机摄像头的“像素到底应该是多少”仍是一个存在争议的线年手机摄像头主流像素是 500~800 万，CMOS 传感器单像素边长1.75μm；2009 年主流像素 800~1000 万，单像素边长1.4μm；2011 年主流像素在 1000 万上下，单像素边长降到了 1.1μm，到了2016年，苹果iPhone 6s Plus就开启了“祖传1200万”像素的传说，而且单像素边长不降反升。

　　这其实也充分说明了在手机传感器顶多做到1英寸的情况下，一味提高摄像头像素已经慢慢不被认可。原因在于如果在单像素面积已经只有 1.10μm 的情况下，为了保信噪比就需要像素需要有更高的灵敏度，但这也意味着保证噪点将不可逆的增加，换言之就是摸到了物理材料性质与传感器结构的天花板。

　　而我们之前也预见了传统光学变焦设计在手机上的失败，因此，如何实现丰富的拍摄功能，就成了彼时手机摄影领域亟待突破的关键，而事实上早在2011年就已经有厂商开始了尝试，也就是我们现在熟悉的“多摄方案”：2011年，HTC、LG率先推出双摄像头手机，2014年荣耀、酷派加入其中，2015年中兴和360也推出了双摄手机，当然，最重要的是在2016年苹果推出了首款双摄机型iPhone 7 Plus。

　　双摄方案一般来说分为两种组合，一是双焦段，也就是一个主摄，一个长焦或广角，而另一种设计就是增强弱光拍摄性能的彩色+黑白，或两个都是彩色来进行景深计算。

　　显然，这些设计的功能目的并不相同，在双摄时代只能被迫选择，但后来的事情大家都知道了——三摄、四摄甚至五摄的到来将这些功能全部打包融合在一起，多摄像头在2015年之后就已经开始成为手机影像技术的发展主流。

　　根据 IDC 数据显示，苹果与安卓手机的双摄渗透率在2019 年达到53%的峰值，随后三摄与四摄的渗透率迅速上升，2021 年苹果三摄、四摄渗透率分别为 50%和 10%。不难看出，安卓系和苹果多摄渗透率都将在 2021 年超过 60%，多摄手机在未来将占据绝对主导地位。

　　与摄像头数量增加相同，手机镜头镜片数量和用料其实也在默默增强之中，为了优化成像效果，2018 年的智能手机中，35.6%主摄像头为5片镜片，64.3%的手机主摄为 6片镜头，0.1%的手机主摄为 7片镜片，2019 年小米发布的 CC9 Pro 还是业内首款使用 8片镜片的手机。

　　手机镜头也在不断悄然进化，目前已发展到8片塑料和6片塑料+1片玻璃等设计

　　材料方面，目前常见的镜片材质是塑料和玻璃，塑料镜片成本低、易批量生产，是手机镜头的主流，但缺点是光学素质相对较弱，而玻璃镜片性能更好，但其量产难度大，生产成本高，难以在手机领域广泛应用，所以，玻塑混合镜片就成为了必然，比如6 片塑料镜片和1 片玻璃镜片组成的玻塑混合镜头成像效果与 8 片塑料镜片相当，但其镜片数少，有利于降低模组厚度，这也是手机摄影发展的一大缩影。

　　除此之外，手机长焦镜头的发展在2019年也迎来了历史性的时刻，华为P30 Pro首次搭载了潜望式镜头设计，后来包括小米、三星、荣耀、vivo等一众国内外厂商都纷纷推出了搭载潜望式长焦镜头的手机。其实潜望式设计也是源自卡片相机时代的技术，将长焦镜头横向排列，与广角镜头形成垂直布局，利用棱镜折射实现成像，能够在保证手机薄型外观的同时大幅增加摄像头物理焦距，但加工难度相对较高，对棱镜的折射透光率、摆放精度要求非常高。

　　不过，潜望式长焦目前来看有些“曲高和寡”之势，进入2022年以来，包括Realme、iQOO、荣耀和一加，以及2021年底发布的小米12系列，这5款搭载全新骁龙8移动平台的旗舰手机，都默默地取消了潜望式长焦镜头，大部分改为了普通的长焦镜头，小米12 Pro甚至连长焦镜头都一并取消了，这是为什么呢？

　　首先是因为潜望式镜头相比普通长焦镜头有着更加复杂的结构、更加昂贵的成本以及更高的调校难度，再加之潜望式设计很占内部空间，而手机的内部是众所周知的寸土寸金。

　　其次是引发了伦理上的争议，此前就有不少网友表示有人用潜望式长焦进行，对个人隐私安全保护造成了威胁，更何况在设计炫技之余，超高倍率的长焦在手机摄影领域并不算一个常用功能，大多数人都只是刚买手机时喜欢用长焦过过瘾而已，所以对于厂商而言，潜望式长焦是个很好的宣传点，但对用户需求来说却不是那么重要，再加上成本高，因此迅速遇冷也有理可依。

　　但值得注意的是，长焦镜头的大量出现也让防抖成了新的痛点。其实手机上数字防抖技术最早在2007年的LG viewty手机上就有出现，但到了2012年诺基亚Lumia 920才正式配备了光学防抖，OPPO 2019年发布的Reno 10倍变焦版则首次实现了电子防抖和光学防抖的混合，2020年iPhone 12 Pro Max则引入了CMOS防抖，也就是相机领域机身防抖的概念，再后来OPPO则是把CMOS防抖和光学防抖联动，实现了硬件级五轴防抖。

　　vivo更是直接在X50 Pro里塞入了一个微云台，以此来补偿视频拍摄时所产生的位移抖动，可以说近年来的防抖技术是“八仙过海各显神通”，不过在我们看来，未来的主流依然会是电子防抖与光学防抖的组合。

　　说到摄像头，很多人概念里可能只有拍照用的摄像头，其实在现代智能手机上，还有一些不会直接用于拍照，但却非常实用的影像技术：3D感知。2017 年 9 月，苹果iPhone X首发3D结构光面部识别，开启生物识别新时代，由于有着极高的准确度、速度和安全性，3D 人脸识别不仅能用于手机解锁，还可以用于人脸支付，2020年的iPhone 12 Pro Max还搭载了一个后置光学雷达摄像头。而自苹果发布结构光之后，安卓阵营也开始逐步推广3D感知功能，手机后置ToF（Time of Flight）镜头配置应运而生。

　　对手机来说，ToF比结构光更适合于 3D 视觉成像技术。它的成本较低，应用范围更广，更为手机厂商所青睐，越来越多的厂商开始尝试后置摄像头ToF方案。结合5G商用的逐步普及，为手机3D视觉的应用迎来新的发展机遇。在 5G 技术的支持下，ToF镜头就是满足 VR/AR游戏场景的刚需。所以，在5G 时代搭载ToF镜头将成为手机设计的一大趋势。根据 Techno Systems Research 数据，2019 年采用ToF镜头的智能手机渗透率为 3%，到2023年渗透率预计将突破 30%，成为中高端机型的标配。

　　多摄的本质其实是多个CMOS传感器的融合，这也就意味着进入多摄时代，也就代表着进入了算法时代，苹果iPhone 11 系列的发布会上，苹果高级副总裁菲利普?席勒在介绍 iPhone 11 Pro 系列的影像系统时第一次将“计算摄影”的概念引入，这个概念也第一次被大众所熟知。

　　荣耀在2021年下半年发布的Magic 3系列手机通过多主摄融合的计算摄影技术，在彩色黑白融合时，进光量最大提升13%， 清晰度最大提升18%。在主摄和广角镜头融合时，中心清晰度最大提升80%， 在主摄和长焦镜头融合时，中心清晰度最大提升180%……

　　这些数字的背后，就是联动多个摄像头同时拍摄来优化成像的多摄融合技术，按快门虽然转瞬即逝之间，但背后却经历了尺度对齐、像素对齐、制定融合策略和图像融合这四大步骤。

　　在设计时就会遇到很多的挑战：如何在有限的算力内，进行尽可能准确和快速的融合？如何处理融合区域和非融合区域的突变？如何判断哪些像素需要融合？在融合图像时两个输入图像的权重各自为多少？如何利用底层系统硬件支持，做到高效运算？如何和相机系统的其他功能紧密配合？可以说现代手机的每一次拍摄，背后都是无数工程师的辛苦付出。

　　多帧合成、像素合并，再结合人工智能算法补色，组成了手机摄影的软件技术堡垒

　　而且计算摄影的蓬勃发展，也让以前那些受制于物理天花板的设计重新找到了“曲线救国”的道路，比如超高像素CMOS，三星Bright HMX已经可以实现1/1.33英寸1.08亿像素，但大多数时候它都运行在9像素合并为1像素的1200万模式下，利用多像素合一的方式实现了单帧拍摄HDR，同时兼具了大像素面积的高灵敏度，又可以随时切换到高像素密度来进行全力输出，还首发了手机拍摄8K视频功能，让画面输出不再是单规格的形式，可以灵活应对不同的需求，类似的方案在华为Mate系列机型上也能看到。

　　事实上从计算摄影的贡献力度来看，谷歌的重要性也不应被忽视，比如大家非常熟悉的手持夜景模式，就首发于2018年的谷歌Pixel 3，利用15张以上的多帧连拍融合+人工智能填色的方式来弥补手机传感器偏小的先天不足，这项功能在后来的苹果iPhone 11、华为P30 Pro等机型上也得到了发扬光大。

　　还有超分辨率变焦算法，手机会自动收集抖动所形成的偏移，补全出数字变焦后缺失的像素，而且当检测到无抖动的情况下，还会自动让镜头的光学防抖组件进行规律的运动，以造成微小的偏移，以此为摄像头增加了一个1.5倍缩放功能，这个功能在主摄和2倍长焦切换时尤其好用：比如在1.6倍变焦时，常规设计只能强行裁切主摄画面，而在实验超分辨率变焦算法后就没有了这个烦恼，后来苹果的Deep Fusion也采用了这一算法。

　　人工智能算法的进步，推动了手机摄影在衍生领域的发展，比如社交媒体App，其中最具代表的就是美颜算法，当下无论图片类、短视频类还是直播类都加入了大量美颜甚至美体技术。

　　通过深度神经网络来对人脸进行检测，在获取了人脸关键点以后，便可以对图片中人脸区域做瘦脸、磨皮、美白等美颜操作，在安卓上可以使用OpenGL ES，在苹果上可以使用Metal，根据人脸关键点的位置，对人脸进行瘦脸、磨皮、美白之类的渲染。

　　这个时候很多人或许会思考一个问题：计算摄影到底算不算摄影？毕竟当年华为长焦拍月亮就引发了大量的讨论，华为近期公开了其2019年申请的“一种拍摄月亮的方法和电子设备”专利，里面详细讲述了如何自动识别月亮并进入专用模式，调整对焦和曝光参数并多帧合成。

　　事实上在我们看来，进入数字时代后，摄影就不再是化学反应这么简单的事情了，数码摄影都是光信号转电信号再转0和1，中间的每个步骤都经过了复杂的软件处理，会丢掉大量信息，破坏大量信息，再通过算法补充大量信息，不同的算法之间质量差别也非常大。

　　如果说传统数码相机的这种处理能被认同为真实的摄影，那么计算摄影在本质上与它们并没有区别，它们只是更加聪明的利用了原始数据，用了数学手段尽可能多的还原了真实信号，不存在软件层面的自动再创作。至于填色，试问哪位摄影高手不后期处理呢，二次创作的也不在少数，所以这个问题其实仔细想来并没有争议的必要。

　　那么，目前来看手机摄影的发展基本上确定为算法优先，硬件为辅的道路，那么手机品牌还需要在市场方面做哪些工作呢？答案之一是依托传统相机的品牌效应来实现突围。毕竟在整个摄影圈，哪怕出货量有着鲜明的反差，传统相机在广大用户心目中的形象一直是相对高大的，毕竟手机短时间内来看也无法替代相机在生产力领域的作用。

　　因此在2016年，华为与徕卡联手发布华为P9手机，该机搭载了一组经由徕卡的双摄像头，一颗黑白感光镜头负责收集细节和轮廓，一颗彩色感光镜头负责收集色彩，两者的合作使得P9的拍照效果有了显著增强，同时也将“华为+徕卡”这一标志性的影像IP打了出去，并且在上市不到8个月的时间内，该机全球销量便突破了1200万台，相比于上一代产品增幅达到了152%。

　　自此，专业相机大厂逐渐成为手机厂商冲击高端市场的重要助力，随后越来越多的手机厂商也加入到了与相机品牌合作的阵营中。2020年末vivo与蔡司联名，推出了vivo X60系列，但不同于华为和徕卡，vivo与蔡司除了在技术上的合作，在硬件与工艺上也进行了合作研发，比如vivo X60 Pro+不仅采用了“vivo蔡司联合影像系统”，同时还加入了蔡司光学镜头和T*镀膜，这算是完全用上了蔡司最经典的两大看点，进一步提升了手机影像的专业性。

　　2021年3月，一加手机联手哈苏，新推出的一加9系列在预售期间，5分钟便突破了一万台预售量，预售额更是在50分钟内突破了1亿元，正式开售10秒钟，全网销售额便突破了3亿元，显然，在传统相机品牌的加持下，手机摄影的形象变得更加专业，这无疑是一件两相利好的事情。

　　不过，手机与相机的联名其实并不是这几年才有的新鲜事，蔡司与诺基亚也一直在保持合作，Moto Z也推出过哈苏模块，但事实证明联名如果只是一时之快而没有持续投入，在这个新机更迭节奏飞快的时代顶多只能留下一点点回忆，这也是为什么华为与徕卡成立麦克斯·别雷克创新实验室，针对新光学系统、计算成像等领域深入研发；vivo与蔡司成立了影像实验室；一加甚至在未来3年投资10亿元与哈苏进行合作的原因。

　　纵览整个手机影像技术的发展历史，不难看到真正的技术爆发其实也就在近十年，尤其是多摄方案的普及更是让手机摄影的功能和玩法进入到指数级增长的时代，索尼甚至在2021年底推出了采用1英寸大底CMOS的Xperia PRO-I，同时还沿用了传统相机的对焦、连拍算法，让手机影像的硬件水平正式与自家黑卡系列平起平坐。

　　除此之外，各大品牌纷纷在景深专用镜头、超广角镜头、超长焦镜头、电影镜头、超微距镜头甚至超光谱镜头等功能上下足了工夫。不难看出在这个阶段，手机摄影从实用的记录生活，发展出了百花齐放的态势，但用户真的需要这么多功能么？为什么会形成这样的趋势呢。

　　从原因来看，其一在于“内卷”，手机厂商虽然想要降低成本，但激烈的市场竞争逼迫他们不敢采用保守方案，毕竟那句“我可不用，但你不能没有”实在是杀伤力太强，所以就开始捣鼓各类新玩法镜头。

　　另一方面，舆论的压力让主流手机厂商们不太会在中端及以上的产品上滥竽充数，所以1英寸大底、微距、超光谱等镜头成了最好的替代品，毕竟它们还是具备一定的实用性，而砍掉潜望式长焦就是在成本上做出的考量，在今年二季度我们或许会看到有更多使用这类设计思路的新机型亮相。

　　在5G时代，手机的数据中枢定位越来越清晰，功能也越来越重要，而手机摄影所衍生出的软件功能和算法机制都以蝴蝶效应的形式影响到了整个IT产业，现在的手机摄影有自己专业的电影展，比如vivo和蔡司联手推出的FIRST青年电影展，除此之外摄像头还拓展出了诸多功能，比如通过LED补光来监测心率、呼吸频率甚至侧血氧浓度，再比如结合3D感知来做环境扫描建模……可以预见的是，手机摄影正在拓展“摄影”的概念，其影响力在未来依然会保持目前的势头，值得所有科技爱好者关注。