摘要：11月26日华为发布Mate 70系列手机，其中，手机上首次搭载的多光谱图像传感器——红枫原色影像图像传感器，备受关注，本文由业界知名多光谱传感器企业与光科技出品，可能是全网最深入、全面介绍这颗红枫多光谱图像传感器的工作原理以及成像系统技术的内容。

编辑按：11月26日华为发布Mate 70系列手机，其中，手机上首次搭载的多光谱图像传感器——红枫原色影像图像传感器，备受关注，本文由业界知名多光谱传感器企业与光科技出品，可能是全网最深入、全面介绍这颗红枫多光谱图像传感器的工作原理以及成像系统技术的内容。

传感器专家网

专注于传感器技术领域，致力于对全球前沿市场动态、技术趋势与产品选型进行专业垂直的服务，是国内领先的传感器产品查询与媒体信息服务平台。基于传感器产品与技术，对广大电子制造从业者与传感器制造者提供精准的匹配与对接

与光科技成立于2020年，是清华大学科研成果转化的高科技公司，其技术来源于清华大学电子系黄翊东教授课题组近20年的微纳光学研究积累。

供应链消息称，这颗创新性的传感器产品由华为和供应商共同研发，除与光科技在发布会后第一时间发布多光谱传感器技术原理内容外，国产CMOS图像传感器厂商格科微亦在发布会后，发文披露已成功量产多光谱CIS解决方案。

11月26日，华为Mate70系列手机发布，再次升级了光谱技术在手机中的运用，从多光谱传感（非成像）到多光谱成像，除了硬件的增强，计算光学成像引领手机影像进一步突破物理极限。

目前，以色温传感器为代表的多光谱传感在手机中已经得到了广泛应用，而多光谱成像也开始在手机中崭露头角，不仅能带来更极致的影像表现，也将进一步提供皮肤、健康、物质检测等实用功能。

手机光谱影像技术发展的背后，是加工技术的进步和计算能力的提升，支撑了芯片化光谱成像技术的快速发展，缓解了传统光谱成像器件体积大、价格高、成像缓慢的痛点。芯片化光谱成像技术中，计算光谱是极具有产业发展前景的方向。

与光科技顺应行业趋势，推出了光谱传感和光谱成像两大系列产品，适配不同应用场景的不同需求。在技术上，与光科技构筑了从光谱芯片设计、光谱算法到应用算法的端到端开发能力，以开放的心态链接上下游合作伙伴，快速推进光谱成像技术在多领域的应用和发展。

01

多光谱技术全面进入消费电子时代

2024年11月26日，华为官方发布了备受期待的Mate70系列手机，在影像方面，华为称之为史上最出彩的Mate。

华为Mate70系列影像配置

其中，Mate70系列推出了全新红枫原色影像系统，硬件上采用了红枫原色摄像头，即一颗150万像素的多光谱摄像头，将色彩还原准确度较Mate 60 Pro+提升了120%，影像色彩实现质的飞跃。

红枫原色影像图像传感器示意图

据华为官方介绍，红枫原色摄像头能够准确捕捉环境光谱，为主摄、超广角、长焦微距摄像头提供更加真实的色彩输入，从而拍出“所见即所得”的照片和视频。

红枫原色影像原理

在实际拍摄中，应对复杂环境光和大面积纯色场景时，能够实现色彩更真实，光影更通透。

红枫原色影像样张

拍摄舞台人像时，能够捕获更加丰富的色彩和光源细节，从而更好还原人物肤色，提升画质。对于红色、橙色等近似且复杂的灯光效果也能够精准还原。

红枫原色影像样张

那么， “红枫原色影像”背后的技术是什么？现在带大家一探究竟。

本质上，这颗150万像素的红枫摄像头是首次应用于手机中的多光谱成像摄像头。当前常用的Bayer阵列图像传感器只有RGB三个颜色通道，也就是只有红、绿、蓝三波段的光谱分辨能力。多光谱甚至高光谱，则是将颜色通道数增加到了几个或几十个，从而具有更高的光谱分辨能力，能够采集更多光和颜色的有效信息。

多光谱升维采样

其实这并不是华为首次推出光谱影像单元。2018年，华为推出的P20首次搭载了色温传感器。根据芯智讯拆解，华为P20 Pro的颜色传感器是由艾迈斯（ams）提供的TCS3430，作用是在不同照明条件下实现精准的颜色和环境光感测，使得拍摄时可以更精准调节白平衡。

华为P20 色温传感器

ams TCS3430框图

2021年，华为推出P50 Pocket，首创超光谱超级影像单元，光谱硬件由10通道多光谱传感器、闪光灯、3200万像素超光谱摄像头、超光谱补光灯构成。其中3200万像素超光谱摄像头+超光谱补光灯构成了一个紫外相机，相当于把手机图像传感器的滤光片换成只允许紫外光通过的滤光片。因此，这里的“超光谱”是指超越“肉眼可见”，可以发现可见光之外（紫外光）的细节，带来肉眼“看不到的真实”，并非物理定义上的超光谱，其定义在第三章具体介绍。

华为P50 Pocket 超光谱超级影像单元

紫外荧光摄影

华为在其旗舰机型中陆续搭载了色温传感器、8通道多光谱传感器、10通道多光谱传感器。不断升级环境光谱采集系统，核心就在于提升光谱采样与分析能力，将色彩还原重点转向环境色，相比传统白平衡算法更为真实地再现“拍摄时的记忆色”，从而实现“所拍即所见”。

华为多光谱传感器的升级

当然，多光谱对影像效果的提升不仅只有华为关注到了。随芯片化光谱系统方案的愈发成熟，光谱传感器在手机上早已兴起。各大手机厂商在旗舰机型中均已采用过环境光/多光谱色温传感器。

iPhone X搭载了ams为其定制开发的6通道多光谱传感器，包括紫外光、红光、绿光、蓝光、和两种近红外光。可利用该传感器感知环境光CCT水平，进而调整显示颜色和亮度。至iPhone 14系列，苹果首次配备双环境光传感器，同时改善亮度调节和后摄曝光。

iPhone X中的环境光传感器

OPPO Find X5 Pro在业界首次搭载13通道光谱传感器，给相机系统带来精准的色彩表现，同时也还原更真实的环境光源信息，改善白平衡效果。

OPPO Find X5 Pro中的13通道光谱传感器

vivo X90则是采用自研VCS仿生光谱技术。由于普通图像传感器的color filter光谱与人眼差异较大，自研VCS仿生光谱技术通过改进color filter，让传感器接收的原始信息不断接近人眼，实现更好的噪声表现和色彩还原，前置优化光信号。

vivo VCS仿生光谱技术

技术原理

1.多光谱传感器的技术原理（非成像）

上述手机中使用的多光谱传感器通常采用窄带滤波技术。在传感器的感光部分开口，开口上方放置窄波长滤光片，从而探测到环境光源的光线，不同光谱通道实际就是通过窄波长滤光片来控制特定频率的光通过。这类传感器不需要体积庞大的色散元件和光路，因此结构非常紧凑。而此类方案属于单点的光谱传感，仅限对整体的光环境混合探测，无法体现局部的光源、色温信息和差异。

窄带滤光结构设计示意图

2.多光谱成像芯片的技术原理

华为Mate70系列搭载的红枫原色影像比以往的单点多光谱传感器在功能上进一步升级，实现了成像的效果。常规图像传感器通常是在各像素的光电二极管上构建红、绿、蓝3种彩色滤光片，而多光谱成像则是在图像传感器的光电二极管上构建更多种颜色的滤光片，可分别透过不同波长的光线。结合光谱恢复算法，可以和普通相机一样，一次拍摄即可获取二维图像和更丰富的光谱信息。

彩色滤光片示意图

3.借力AI，计算成像突破物理极限

想要实现完美的色彩表现，仅从硬件上提升是远远不够的，各大手机品牌在软件算法上也下足了功夫。

得益于AI技术的快速发展，计算为光学成像注入了新的活力。图像形成不再仅仅依赖于光学物理器件，而是将前端的光学调控与后端信息处理有机结合，通过对照明、成像系统进行光学编码与数学建模，以计算重构的方式获取图像与信息。这就是现在广为人知的“计算成像”（Computational Imaging）技术，该技术入选了阿里巴巴达摩院2023十大科技趋势。

2023年十大科技趋势之计算光学成像

手机影像方面，在各大主流手机厂商的大力倡导下，自动HDR、超级夜景、模拟大光圈等算法调优几乎成了各大厂商智能手机的标配。计算成像早已不是“锦上添花”的存在，而是影像表现至关重要的环节。

手机影像入算法时代

计算成像成为核心驱动

计算成像在手机影像中的应用：

华为 XD Fusion Pro

苹果 Deep Fusion

荣耀融合计算摄影技术

OPPO超光影图像引擎

Xiaomi AISP

02

光谱技术多元化提升手机AI影像，市场前景广阔

当前：多光谱帮助手机提升色彩表现

影像效果历来是手机的核心卖点，光谱成像芯片能够获取的有效色彩数据，远高于RGB图像传感器，从而在光源识别、白平衡优化和色彩重建方面有天然的应用优势。

白平衡是消除色偏的过程，使照片中的白色更接近人眼看到的白色。在不同光源下，人眼可以轻松辨别白色，而自动白平衡（AWB）拍摄的照片可能会出现蓝色、橙色甚至绿色的色偏。在没有白色且色彩饱和度高的场景中，现有的AWB算法通常难以准确识别白点。应对此类场景，与光科技的多光谱成像芯片能够获取更丰富的光谱数据，精确分类光源，从而解决白平衡失效问题。

对纯色场景拍摄，白平衡恢复效果

对激光投影图像拍摄，实现高饱和度色彩还原

未来：光谱成像赋予手机更多实用功能

提升色彩表现只是光谱成像芯片在手机应用中的一个方面。未来，光谱成像芯片将在手机成像领域持续成为热点。例如，肤色检测、健康监测、物质鉴别、AIGC等应用，预计在不久的将来就能在手机上实现。这些创新应用将大大扩展手机的功能和用户体验，推动手机成像技术进入新的发展阶段。

肤色还原：在人像摄影中，更准确地捕捉人物肤色细节，从而帮助调整肤色色温，呈现更加自然和真实的肤色效果。

采用与光科技光谱成像模组拍摄，精准还原肤色光谱

皮肤检测：通过手机拍摄即可对皮肤进行检测，例如，拍摄红区图识别皮肤干燥、敏感等症状，拍摄棕区图提前发现皮肤暗沉、色斑等问题，方便用户进行皮肤管理。

采用与光科技光谱成像模组对皮肤红区图、棕区图拍摄

材质识别：检测和区分不同材质的光谱特征，如纹理、颜色、反射率等。可以在手机上集成区分金属、塑料、纺织品等不同材质的功能。

采用与光科技光谱成像模组拍摄区分真假水果，实现材质识别功能

AIGC：光谱成像能够提供图像生成所需的更准确的环境光、颜色、纹理等信息，例如采用光谱成像准确还原口红和皮肤的颜色，使得线上试装效果更贴近真实。光谱有望成为AIGC全新的物理输入维度。可用于提升图像增强识别、图像编辑功能、以及AR体验等。

口红试装示意图

未来，随着光谱功能在手机中的渗透率持续提升，光谱成像芯片在手机领域市场空间广阔。根据敏感性分析，广发证券发展研究中心提出手机光谱成像芯片市场规模未来有望提升至5~10亿美金。

手机光谱成像芯片市场规模敏感性测算

03

芯片化光谱技术快速发展

当然，产品化的创新与发展，离不开科学技术的持续探索和进步，科学家们对于芯片化光谱技术的攻关，已经持续了近半个世纪。

光谱反映了光波与物质相互作用的丰富信息，每种物质都有特征吸收、发射或散射光谱，因此光谱也被称为物质的“指纹”，通过光谱分析可以鉴别物质并确定其化学组成。

光谱的构成

随着遥感技术的兴起，人们期望同时探测物体的图像和光谱信息，这催生了光谱成像技术，它能够获得包含二维空间和光谱信息的三维数据立方体，超越人眼感知能力，在疾病诊疗、精准农业、食品安全、天文探测等诸多领域有着重要的应用前景。如下图中，与光科技创始团队采用自研的光谱成像芯片对活体大鼠实时光谱成像，通过光谱重构算法恢复光谱图像和包含601个波段的数据立方体，图中选取了选择了5个单波长光谱图像，实现了大鼠脑部血红蛋白及其衍生物的特征光谱的动态变化观测。

与光科技创始团队对大鼠脑血管光谱成像，同时获取图像和光谱信息

传统光谱成像技术基于传统棱镜色散、光栅衍射或干涉原理，需要精密的器件和足够的光程来将不同波长的光分开，一般采用空间扫描或波长扫描的模式，无法实时获取视野场景中各像素点的光谱信息。从原理上导致光谱成像仪器，体积庞大、价格昂贵，成像速度缓慢，是光谱成像技术长期存在的痛点。

根据光谱分辨能力的不同，可以将光谱成像划分为多光谱成像、高光谱成像和超光谱成像。具体来说，通常采用工作中心波长与分辨率的比值来进行区分。

光谱成像分辨率示意图

得益于加工技术的进步和计算机能力的提升，芯片化光谱技术得到快速发展。早期微型光谱仪的发展主要依赖于20世纪80年代到21世纪初微制造领域的突破，光刻和蚀刻工艺的进步以及MEMS技术的持续发展使得复杂的微型色散器件、滤光器件和傅里叶变换系统的制造成为可能。

过去十年，计算能力的大幅度增强、计算成本的大幅度降低、压缩感知和深度学习等数学工具的发展为片上光谱仪的发展注入了新的活力。由于光谱仪的性能不仅可以通过增强硬件设备实现，也可以通过软件的优化实现，因此计算光谱仪成为了最具有发展前景的研究方向。近年来，研究人员相继提出了一系列新型光谱仪，例如量子点光谱仪、纳米线光谱仪、超表面光谱仪等。

1980s~至今，关键微型化光谱仪技术发展

简单来说，光谱成像分为分光和成像部分，分光部分完成光谱维获取，成像实现对目标的空间维成像。在分光部分，与光科技布局了多种光谱分光技术，其中创始团队的超表面技术被《Science》综述论文引用为领域内最领先的研究成果之一（如上图）。在成像部分，与光科技采用CMOS图像传感器采集调制光信号，通过自主研发的光谱重建算法，实现空间阵列化的光谱成像。此外，与光科技与图像传感器厂商深度合作，共同拓宽CIS的光谱性能边界，致力于开拓更广阔的光谱应用市场。

与光科技的计算光谱成像芯片成果，源于清华大学微纳光电子学实验室，由清华大学电子工程系黄翊东教授领衔。团队提出了基于超表面宽带调制和计算光谱重建的片上光谱成像，研制出国际首款实时超光谱成像芯片，为实现消费级的光谱芯片提供了一种极具前景的方案。

超表面光谱成像芯片及光谱重构算法示意图

与光科技创始团队进一步利用ADMM-net实现了对户外驾驶场景的实时光谱成像，光谱成像速率达到约36帧/秒，天空和白色车辆的光谱具有明显的差异，有望解决自动驾驶场景中同色异谱的识别问题。此外，具有视频帧率的高空间分辨快速光谱成像，也展示出与光的实时光谱成像芯片在机器视觉领域的巨大应用潜力。

户外驾驶场景的实时光谱成像结果

黄翊东，清华大学学术委员会副主任、长江学者特聘教授、美国国家工程院外籍院士、国际光学委员会副主席，曾任清华大学电子工程系主任和清华大学天津电子信息研究院院长。黄翊东教授带领团队致力于“光芯片“研究20余年，取得了一系列领先的研究成果。黄翊东教授始终坚持通过创新走在前沿，在全球范围内创造不会被卡脖子的引领技术。

黄翊东教授

崔开宇，清华大学电子工程系长聘副教授、周炳琨学者，国家级青年人才。主要的学术方向为基于半导体周期微纳结构的光电子器件，特别是基于光子晶体、光声晶体、超表面的新型智能感知光电子器件。崔开宇副教授致力于让光谱芯片成果从实验室走向实际应用，带领团队在生物医学、自动驾驶等领域开展了诸多探索。

崔开宇长聘副教授

04

拓宽光谱芯片应用边界，让光谱感知无处不在

随着新兴技术的迅速发展，CMOS图像传感器市场的竞争格局正在发生深刻变化。除了传统的像素尺寸和分辨率比拼，光谱成像也有望扩充CIS的性能边界，助力国内芯片企业进军高价值创新市场。

与光科技协同上下游厂商，在多领域共同推进光谱芯片的技术创新和产业升级。在开发环节，与材料供应商、设备制造商和科研机构合作，提升光谱芯片的性能；在生产环节，与制造商和测试厂商共同优化工艺流程，确保产品的一致性和高质量；在应用环节，与终端设备厂商、软件开发商和行业用户携手，探索光谱芯片在消费电子、医疗健康、自动驾驶、农业食品、安防监控等领域的广泛应用。

目前，与光科技已经和国内外的主流手机品牌建立了稳固的供应及合作关系，同时具备光谱硬件和光谱算法的开发能力，提供计算光谱的闭环解决方案，充分发挥光谱技术在手机AI影像中的作用和潜力。与光科技致力于推动光谱芯片技术的快速发展，持续为各行业带来更多创新解决方案，提升光谱芯片产业链的整体竞争力并拓宽市场空间，助力客户与合作伙伴共赢发展。

与光科技光谱成像芯片实拍

与光科技产品矩阵

主要参考资料：

杨家伟, 崔开宇, 熊健, 饶世杰, 冯雪, 刘仿, 张巍, 黄翊东. 基于超表面的实时超光谱成像芯片[J]. 光学学报, 2023, 43(16): 1623004. DOI：10.3788/AOS230901

Jian Xiong, Xusheng Cai, Kaiyu Cui, Yidong Huang, Jiawei Yang, Hongbo Zhu, Wenzheng Li, Bo Hong, Shijie Rao, Zekun Zheng, Sheng Xu, Yuhan He, Fang Liu, Xue Feng, and Wei Zhang, "Dynamic brain spectrum acquired by a real-time ultraspectral imaging chip with reconfigurable metasurfaces," Optica 9, 461-468 (2022). DOI: 10.1364/OPTICA.440013

Yang, J. et al. Deep-learning based on-chip rapid spectral imaging with high spatial resolution. Chip 2, 100045 (2023). DOI: 10.1016/j.chip.2023.100045

Spectral sensor及其在手机领域的应用，大话成像微信公众号

华为P50 Pocket超光谱超级影像单元分析，知乎

Deep Fusion(深度融合)是什么？Deep Fusion有多优秀，知乎

OPPO 发布全新影像旗舰 Find X6 系列，引领移动影像进入全主摄时代，OPPO官网

2篇Science论文，这个团队对微型光谱仪有独到见解，纳米人公众号

左超, 陈钱. 计算光学成像：何来，何处，何去，何从？[J]. 红外与激光工程, 2022, 51(2): 20220110. DOI: 10.3788/IRLA20220110

广发电子 | 创新系列1：光谱分析进入手机，摄像头产业链增添新活力，广发证券研究公众号

来源：传感器专家网一点号