计算摄影 | 摄像机成像原理及参数解析

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自有三个AI

本期主要总结数字成像系统，主要分为数字成像系统组成、摄像头关键部位概述、ISP概述、相关技术指标概述和总结。目前，互联网资源相对丰富。本文只提出了每个部分的关键知识点。如果读者感兴趣，他们可以进一步搜索和学习。

1 由数字成像系统组成

人眼很容易观察到一个物体。初中的物理和生物知识告诉我们，当我们观察到光源下的物体时，例如，为了改变光，我们的眼睛可以通过补偿光来适应环境亮度的变化，我们可以通过独立对焦来关注物体的移动。简单地说，这是因为眼睛周围的肌肉会导致瞳孔扩张和缩小，然后控制进入光量。深入研究是由于各种锥形细胞和杆状细胞的光感应，可以完成快速的物体成像。数字成像系统与人眼成像相似。

以下是成像系统的关键组成部分：

以手机拍照为例：打开手机拍照时（Lens）图像传感器将首先投影被摄景物（Sensor）同时，图像处理器（ISP）合适的参数将通过测光和测距计算，并指示镜头对焦。按下照片键，图像传感器（Sensor）会完成一次曝光，并通过影像处理器（ISP）将图片变成后期处理的手机应用程序，最终出现在屏幕上，这是消费者看到的JPG图像。

2 相机关键部位概述

我们先来看看相机的整体结构：

以上几个关键概念解释如下：

Lenses&Spaces：

也就是说，镜头是在传感器上拍摄场景的装置。它通常由几个镜头组成。我相信了解工程光学的人对这个概念并不陌生。在材料方面，相机镜头可分为塑料镜头和玻璃镜头。

Voice Coil Motor（VCM）音圈马达：

广泛使用手机摄像头VCM通过自动对焦功能实现自动对焦功能VCM可以调整镜头的位置，呈现清晰的图像。实现原理主要是通过固定磁场加电流产生力，然后引起电机运动和对焦，通过步进在空间中找到对焦位置，并通过对焦算法确定何时停止找到对焦位置。AF对焦在详解3A详细说明算法部分。

CMOS Image Sensor(CIS):

Sensor也就是说，传感器是相机的核心，也是最关键的技术。这张照片使用了CMOS传感器(已包含DSP处理器)，主要有两种相机一种是传感器CCD一种是传感器CMOS两者的区别在于：

CCD优点是成像质量好，但由于制造工艺复杂，成本高，尤其是大型的CCD，价格很高。在相同的分辨率下，CMOS价格比CCD便宜，但是CMOS与设备产生的图像质量相比CCD低一点。一般手机厂商都是用CMOS传感器。如果要了解CMOS传感器的工作原理可以参考工程光学相关内容，但需要提及的是CMOS事实上，光信号通过光电感应原理转换为电信号，现在摄像头照片数据流到达Sensor，传感器（Sensor）只能感知光强的大小，这意味着只能得到黑白(0，1)照片，但现在大部分照片都是彩色的，这是怎么回事？原来有个叫Bayer如下：

其巧妙地将这个矩阵加持在传感器上，只让相应颜色波长的光子通过。仿照了人眼对于颜色的特殊模式要求，到此即形成了不同模式的Raw图，所谓Raw图为原始未加工图，Raw下一节将详细说明图形的形成过程，RAW图接下来会经过“大脑”——ISP芯片。

3 ISP概述

ISP是Image Signal Processor缩写，全称为图像处理器。在相机成像的整个过程中，它负责接收感光元件（Sensor）原始信号数据可以理解为整个相机拍照和录像的第一步。

ISP芯片的主要功能是计算传感器输入的信号，最终得出线性纠正、噪声去除、坏点修复、色插值、白平衡校正、曝光校正等处理后的结果。ISP芯片可以在很大程度上决定手机相机的最终成像质量，通常可以提高10%-15%的图像质量。

一般各厂家ISP整个线程流程集成各种3A算法、降噪等算法，isp pipeline大同小异，一般pipeline流程如下：

以上是基本的isp pipeline根据不同的处理节点，流程图分为不同的处理节点RAW域、YUV域、RGB域。其中isp pipeline最关键的是3A算法，即AE、AF、AWB，但是没有从上图中发现AE和AF？实际上这两种算法都在raw图施加到pipeline上次提前调试，因为只有AE曝光稳定，AF对焦准确，对Raw域和YUV域内的图像处理是有意义的，否则没有稳定的光电感应和准确的对焦，图像质量如何提高？关于ISP有很多相关的解释文件。本文作为概述不一一涉及。如果你感兴趣，你可以Google关于ISP相关图像处理算法。

4 相关技术指标概述

摄像头成像是一门涉及工业制造和软硬件结合的科学。因此，摄像头硬件有一套相应的硬件指标，各大厂家不同，但可按类别分类如下：

Lens主要指标：

解析度（Resolution）、视场角（Fov）、焦距(Focus length)、聚焦能力(Focusing Range)、光圈系数，失真（Restortion）。

Sensor技术指标：

a．灵敏度(sensitivity mv/lux.sec)：即1 lux一秒像素产生的电压值反映了传感器的光电转换效率；
b．动态范围(Dynamic Range dB)：动态范围大的传感器能准确记录图像从亮部到暗部的复杂变化，sensor动态范围很大程度上取决于单个像素面积的大小；
c．暗电流(Dark shading pA.cm2):即在完全黑暗的情况下，1s内像素产生的电压值反映了传感器材料的性能；
d．信噪比(dB)：信号电压与噪声电压的比值；
e．帧率（frame per second）：一秒钟出帧数；
f．功耗(power consumption mw)；
g．尺寸；
h.白平衡能力；

可见衡量sensor性能指标很多，每种选择都对摄像头成像有很大的影响，每个指标都是相互制衡的。因此，各大厂商在选择摄像头时，一般会根据产品定位进行选择，并考虑性价比。

Camera模块的主要性能参数：

1.视觉分辨率(Visual Resolution)
2、色彩还原（Color）
3、白平衡（White Balance）
4、灰阶（Gray Scale）
5.成像平衡（Imaging Uniformity）
6.曝光亮度差（Exposure）
7、缺陷像素（Defect pixels）
8、畸变（Tv Distortion）
9、对角线视角（Maximum Angle of field of View）
10、帧率（Frame Rate）

各个Camera制造商将根据相机的成像效果进行一套评估，即客观测试标准，涉及光源、拍摄对象和评估算法。光源包括CIE涉及标准光源D65、D50、荧光、A光、H光；拍摄对象包括ISO 1000图卡、24色卡、灰阶卡等。imatest、DXO评估软件等。

5 小结

数字成像系统是一项系统工程，主要研究成像技术。

总结成像过程是：镜头聚光成像后，sensor光信号转换为光电，AD处理、曝光增益控制和各种图像信号处理，最后按一定的顺序和格式输出数字图像信号。

上述核心在于sensor，类似于传统相机的底片，sensor一般由微镜头、滤色片、感光像素阵列三层组成。Sensor出的图是raw图，它需要通过ISP经过一系列算法处理后，我们通常可以看到芯片中的算法jpg图像，此时只有半90英里，还需要根据各种成像指标进行图像效果质量测试，包括客观图卡测试硬件性能和主观场景测试算法成像效果，在完成完整的数字成像系统设计和实现后，上述所有指标都可以大规模生产和交付。

值得一提的是，由于数字成像技术的广泛应用，相应的工程师职位诞生于各大手机厂商：例如模块工程师、装配工程师、驱动工程师、算法工程师、效果工程师、测试工程师等。通过这些工作，我们可以发现它基本上属于整个数字成像系统装配线的所有关键节点。正是这些工程师的整体合作，才会诞生手机摄影等消费电子产品。

下载1：OpenCV-Contrib中文版教程扩展模块  在「小白学视觉」微信官方账号后台回复:扩展模块中文教程，下载全网第一份OpenCV中文版扩展模块教程涵盖扩展模块安装SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等20多章。   下载2：Python视觉实战项目52讲 在「小白学视觉」微信官方账号后台回复:Python可下载图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情感检测、文本内容提取、面部识别等31个视觉实践项目，帮助快速学校计算机视觉。 
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~