11月26日，华为Mate70系列手机发布，再次升级了光谱技术在手机中的运用，从多光谱传感（非成像）到多光谱成像，除了硬件的增强，计算光学成像引领手机影像进一步突破物理极限。
目前，以色温传感器为代表的多光谱传感在手机中已经得到了广泛应用，而多光谱成像也开始在手机中崭露头角，不仅能带来更极致的影像表现，也将进一步提供皮肤、健康、物质检测等实用功能。
手机光谱影像技术发展的背后，是加工技术的进步和计算能力的提升，支撑了芯片化光谱成像技术的快速发展，缓解了传统光谱成像器件体积大、价格高、成像缓慢的痛点。芯片化光谱成像技术中，计算光谱是极具有产业发展前景的方向。
与光科技顺应行业趋势，推出了光谱传感和光谱成像两大系列产品，适配不同应用场景的不同需求。在技术上，与光科技构筑了从光谱芯片设计、光谱算法到应用算法的端到端开发能力，以开放的心态链接上下游合作伙伴，快速推进光谱成像技术在多领域的应用和发展。
01 多光谱技术全面进入消费电子时代2024年11月26日，华为官方发布了备受期待的Mate70系列手机，在影像方面，华为称之为史上最出彩的Mate。
华为Mate70系列影像配置
来源：华为发布会
其中，Mate70系列推出了全新红枫原色影像系统，硬件上采用了红枫原色摄像头，即一颗150万像素的多光谱摄像头，将色彩还原准确度较Mate 60 Pro+提升了120%，影像色彩实现质的飞跃。
红枫原色影像图像传感器示意图
来源：华为终端视频号
据华为官方介绍，红枫原色摄像头能够准确捕捉环境光谱，为主摄、超广角、长焦微距摄像头提供更加真实的色彩输入，从而拍出“所见即所得”的照片和视频。
红枫原色影像原理
来源：华为发布会
在实际拍摄中，应对复杂环境光和大面积纯色场景时，能够实现色彩更真实，光影更通透。
红枫原色影像样张
来源：华为发布会
拍摄舞台人像时，能够捕获更加丰富的色彩和光源细节，从而更好还原人物肤色，提升画质。对于红色、橙色等近似且复杂的灯光效果也能够精准还原。
红枫原色影像样张
来源：华为发布会
那么， “红枫原色影像”背后的技术是什么？现在带大家一探究竟。
本质上，这颗150万像素的红枫摄像头是首次应用于手机中的多光谱成像摄像头。当前常用的Bayer阵列图像传感器只有RGB三个颜色通道，也就是只有红、绿、蓝三波段的光谱分辨能力。多光谱甚至高光谱，则是将颜色通道数增加到了几个或几十个，从而具有更高的光谱分辨能力，能够采集更多光和颜色的有效信息。
多光谱升维采样
来源：与光科技
其实这并不是华为首次推出光谱影像单元。2018年，华为推出的P20首次搭载了色温传感器。根据芯智讯拆解，华为P20 Pro的颜色传感器是由艾迈斯（ams）提供的TCS3430，作用是在不同照明条件下实现精准的颜色和环境光感测，使得拍摄时可以更精准调节白平衡。
华为P20 色温传感器
来源：华为发布会
ams TCS3430框图
来源：ams官网
2021年，华为推出P50 Pocket，首创超光谱超级影像单元，光谱硬件由10通道多光谱传感器、闪光灯、3200万像素超光谱摄像头、超光谱补光灯构成。其中3200万像素超光谱摄像头+超光谱补光灯构成了一个紫外相机，相当于把手机图像传感器的滤光片换成只允许紫外光通过的滤光片。因此，这里的“超光谱”是指超越“肉眼可见”，可以发现可见光之外（紫外光）的细节，带来肉眼“看不到的真实”，并非物理定义上的超光谱，其定义在第三章具体介绍。
华为P50 Pocket 超光谱超级影像单元
来源：华为发布会
紫外荧光摄影
来源：华为官网
华为在其旗舰机型中陆续搭载了色温传感器、8通道多光谱传感器、10通道多光谱传感器。不断升级环境光谱采集系统，核心就在于提升光谱采样与分析能力，将色彩还原重点转向环境色，相比传统白平衡算法更为真实地再现“拍摄时的记忆色”，从而实现“所拍即所见”。
华为多光谱传感器的升级
来源：华为发布会，与光科技整理
当然，多光谱对影像效果的提升不仅只有华为关注到了。随芯片化光谱系统方案的愈发成熟，光谱传感器在手机上早已兴起。各大手机厂商在旗舰机型中均已采用过环境光/多光谱色温传感器。
iPhone X搭载了ams为其定制开发的6通道多光谱传感器，包括紫外光、红光、绿光、蓝光、和两种近红外光。可利用该传感器感知环境光CCT水平，进而调整显示颜色和亮度。至iPhone 14系列，苹果首次配备双环境光传感器，同时改善亮度调节和后摄曝光。
iPhone X中的环境光传感器
来源：网络
OPPO Find X5 Pro在业界首次搭载13通道光谱传感器，给相机系统带来精准的色彩表现，同时也还原更真实的环境光源信息，改善白平衡效果。
OPPO Find X5 Pro中的13通道光谱传感器
来源：OPPO官网
vivo X90则是采用自研VCS仿生光谱技术。由于普通图像传感器的color filter光谱与人眼差异较大，自研VCS仿生光谱技术通过改进color filter，让传感器接收的原始信息不断接近人眼，实现更好的噪声表现和色彩还原，前置优化光信号。
vivo VCS仿生光谱技术
来源：vivo官网
技术原理1.多光谱传感器的技术原理（非成像）
上述手机中使用的多光谱传感器通常采用窄带滤波技术。在传感器的感光部分开口，开口上方放置窄波长滤光片，从而探测到环境光源的光线，不同光谱通道实际就是通过窄波长滤光片来控制特定频率的光通过。这类传感器不需要体积庞大的色散元件和光路，因此结构非常紧凑。而此类方案属于单点的光谱传感，仅限对整体的光环境混合探测，无法体现局部的光源、色温信息和差异。
窄带滤光结构设计示意图
来源：ams官网
2.多光谱成像芯片的技术原理
华为Mate70系列搭载的红枫原色影像比以往的单点多光谱传感器在功能上进一步升级，实现了成像的效果。常规图像传感器通常是在各像素的光电二极管上构建红、绿、蓝3种彩色滤光片，而多光谱成像则是在图像传感器的光电二极管上构建更多种颜色的滤光片，可分别透过不同波长的光线。结合光谱恢复算法，可以和普通相机一样，一次拍摄即可获取二维图像和更丰富的光谱信息。
彩色滤光片示意图
来源：Sensors 2014, 14, 21626-21659
3.借力AI，计算成像突破物理极限
想要实现完美的色彩表现，仅从硬件上提升是远远不够的，各大手机品牌在软件算法上也下足了功夫。
得益于AI技术的快速发展，计算为光学成像注入了新的活力。图像形成不再仅仅依赖于光学物理器件，而是将前端的光学调控与后端信息处理有机结合，通过对照明、成像系统进行光学编码与数学建模，以计算重构的方式获取图像与信息。这就是现在广为人知的“计算成像”（Computational Imaging）技术，该技术入选了阿里巴巴达摩院2023十大科技趋势。
2023年十大科技趋势之计算光学成像
来源：阿里巴巴达摩院
手机影像方面，在各大主流手机厂商的大力倡导下，自动HDR、超级夜景、模拟大光圈等算法调优几乎成了各大厂商智能手机的标配。计算成像早已不是“锦上添花”的存在，而是影像表现至关重要的环节。
手机影像入算法时代
计算成像成为核心驱动
计算成像在手机影像中的应用：
华为陆续推出的XD Fusion、XD Fusion Pro、原色引擎，基于光路，利用计算光学修正部分像差，或是结合软件算法模拟人眼看到光的一系列流程，从而获得更强的场景环境感知能力。
华为 XD Fusion Pro
来源：华为发布会
苹果自iphone11起，搭载图像处理系统Deep Fusion，基于仿生神经网络引擎拍摄纹理及细节更出众、低光环境下噪点更少的照片。技术实现简单来说就是，当按下快门，相机会先拍4张短时间曝光的照片，然后再以正常标准曝光拍4张，最后拍一张长曝光获取暗部细节，然后将这九张照片自动分析，选择其中解析力最高的部分进行合成。可以说是通过计算，打破了手机摄像头堆积像素的僵局。
苹果 Deep Fusion
来源：苹果发布会
荣耀在MagIC3系列推出融合计算摄影技术，将全镜头参与全焦段融合，通过软件融合算法将所有摄像头采集的信息都利用起来，让多个摄像头的数据可以互相交流，实现全场景的拍摄质量提升。
荣耀融合计算摄影技术
来源：网络
OPPO在其Find X6系列首次搭载支持计算光影的OPPO超光影图像引擎，可以准确地计算出光线、被摄物体和环境的正确关系，让原本只存在于三维世界的光线，首次照进二维照片，为每一幅影像作品还原最真实的光影层次。
OPPO超光影图像引擎
来源：OPPO官网
小米先后推出小米影像大脑1.0、2.0版本，并在14 Ultra发布会上升级为“首个 AI大模型计算摄影平台”，命名 “Xiaomi AISP”。通过深度融入小米澎湃 OS，实现了对CPU、GPU、NPU和ISP等硬件算力的全面整合与优化，不仅大幅提升影像处理速度，更将画质、色彩、景深、明暗的表现推向新高度，突出“层次感”。
Xiaomi AISP
来源：网络
02光谱技术多元化提升手机AI影像，市场前景广阔
当前：多光谱帮助手机提升色彩表现
影像效果历来是手机的核心卖点，光谱成像芯片能够获取的有效色彩数据，远高于RGB图像传感器，从而在光源识别、白平衡优化和色彩重建方面有天然的应用优势。
白平衡是消除色偏的过程，使照片中的白色更接近人眼看到的白色。在不同光源下，人眼可以轻松辨别白色，而自动白平衡（AWB）拍摄的照片可能会出现蓝色、橙色甚至绿色的色偏。在没有白色且色彩饱和度高的场景中，现有的AWB算法通常难以准确识别白点。应对此类场景，与光科技的多光谱成像芯片能够获取更丰富的光谱数据，精确分类光源，从而解决白平衡失效问题。
对纯色场景拍摄，白平衡恢复效果
来源：与光科技
对激光投影图像拍摄，实现高饱和度色彩还原
来源：与光科技
未来：光谱成像赋予手机更多实用功能
提升色彩表现只是光谱成像芯片在手机应用中的一个方面。未来，光谱成像芯片将在手机成像领域持续成为热点。例如，肤色检测、健康监测、物质鉴别、AIGC等应用，预计在不久的将来就能在手机上实现。这些创新应用将大大扩展手机的功能和用户体验，推动手机成像技术进入新的发展阶段。
肤色还原：在人像摄影中，更准确地捕捉人物肤色细节，从而帮助调整肤色色温，呈现更加自然和真实的肤色效果。
采用与光科技光谱成像模组拍摄，精准还原肤色光谱
来源：与光科技
皮肤检测：通过手机拍摄即可对皮肤进行检测，例如，拍摄红区图识别皮肤干燥、敏感等症状，拍摄棕区图提前发现皮肤暗沉、色斑等问题，方便用户进行皮肤管理。
采用与光科技光谱成像模组对皮肤红区图、棕区图拍摄
来源：与光科技
材质识别：检测和区分不同材质的光谱特征，如纹理、颜色、反射率等。可以在手机上集成区分金属、塑料、纺织品等不同材质的功能。
采用与光科技光谱成像模组拍摄区分真假水果，实现材质识别功能
来源：与光科技
AIGC：光谱成像能够提供图像生成所需的更准确的环境光、颜色、纹理等信息，例如采用光谱成像准确还原口红和皮肤的颜色，使得线上试装效果更贴近真实。光谱有望成为AIGC全新的物理输入维度。可用于提升图像增强识别、图像编辑功能、以及AR体验等。
口红试装示意图
来源：网络、与光科技整理
未来，随着光谱功能在手机中的渗透率持续提升，光谱成像芯片在手机领域市场空间广阔。根据敏感性分析，广发证券发展研究中心提出手机光谱成像芯片市场规模未来有望提升至5~10亿美金。
手机光谱成像芯片市场规模敏感性测算
来源：广发证券发展研究中心
03芯片化光谱技术快速发展
当然，产品化的创新与发展，离不开科学技术的持续探索和进步，科学家们对于芯片化光谱技术的攻关，已经持续了近半个世纪。
光谱反映了光波与物质相互作用的丰富信息，每种物质都有特征吸收、发射或散射光谱，因此光谱也被称为物质的“指纹”，通过光谱分析可以鉴别物质并确定其化学组成。
光谱的构成
来源：网络
随着遥感技术的兴起，人们期望同时探测物体的图像和光谱信息，这催生了光谱成像技术，它能够获得包含二维空间和光谱信息的三维数据立方体，超越人眼感知能力，在疾病诊疗、精准农业、食品安全、天文探测等诸多领域有着重要的应用前景。如下图中，与光科技创始团队采用自研的光谱成像芯片对活体大鼠实时光谱成像，通过光谱重构算法恢复光谱图像和包含601个波段的数据立方体，图中选取了选择了5个单波长光谱图像，实现了大鼠脑部血红蛋白及其衍生物的特征光谱的动态变化观测。
与光科技创始团队对大鼠脑血管光谱成像，同时获取图像和光谱信息
来源：Cui K, et al.Optica 9, 461-468 (2022)
传统光谱成像技术基于传统棱镜色散、光栅衍射或干涉原理，需要精密的器件和足够的光程来将不同波长的光分开，一般采用空间扫描或波长扫描的模式，无法实时获取视野场景中各像素点的光谱信息。从原理上导致光谱成像仪器，体积庞大、价格昂贵，成像速度缓慢，是光谱成像技术长期存在的痛点。
根据光谱分辨能力的不同，可以将光谱成像划分为多光谱成像、高光谱成像和超光谱成像。具体来说，通常采用工作中心波长与分辨率的比值来进行区分。
多光谱成像（Multispectral imaging）：对应的λ/Δλ~10，在可见光波段对应几个波长通道，一般用于地带分类领域。
高光谱成像（Hyperspectral imaging）：对应的λ/Δλ~100，在可见光波段对应数十个波长通道，被广泛应用于遥感、农业等领域。
超光谱成像（Ultraspectral imaging）：对应的λ/Δλ~1000，在可见光波段对应数百个波长通道，通常用于大气微粒探测、天文观测等领域。
