ISP相关概念

时间：2023-05-30 13:37:00 6x3光电传感器

学习原文：ISP算法概述(图像信号处理)、工作原理、架构、处理过程
视频学习：可食用视频原址~

提取关键内容

概念部分

ISP：Image Signal Processor 图像信号处理器号处理器。
ISP一般用于处理Image Sensor(图像传感器)输出数据，如做AEC(自动曝光控制)，AGC(自动增益控制)，AWB(自动白平衡)，色彩校正，Lens Shading、Gamma 校正，消除坏点，Auto Black Level、Auto White Level等功能处理。

DSP：Digital Signal Processor 缩写，即数字信号处理器。
DSP你可以拍一些照片和显示（JPEG编解码)、视频和回放（Video 编解码)，H.编解码264，还有很多其他方面的处理，总之是处理数字信号。ISP图像信号的特殊处理是一种DSP。

CPU处理器包括：AP、BP、CP。其中BP：基带处理器，AP：应用处理器，CP：多媒体加速器。

ISP控制结构

1、ISP逻辑：除了部分算法处理外，逻辑单元还可以统计当前图像的实时信息。
2.在上面操作firmware：Firmware 通过获取ISP 逻辑图像统计信息，重新计算，反馈控制lens、sensor 和ISP 实现图像质量自动调节的目的。
包括三个部分：

ISP 控制单元和基本算法库
AE/AWB/AF 算法库
sensor 库

图像生成过程：景物通过 Lens 生成的光学图像投射到 sensor 表面上，将光电转换为模拟电信号，消噪后经过 A/D 数字图像信号转换后，然后送到数字信号处理芯片（ DSP）中加工。
因此，从 sensor 过来的图像是 Bayer 图像，黑电平补偿（black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值（demosaic）、Bayer 噪声去除、白平衡（awb）矫正、色彩矫正（color correction）、gamma 矫正，色彩空间转换（RGB 转换为 YUV）、在YUV 色彩空间上的色噪去除和边缘增强，色彩和对比度增强，自动曝光控制应在中间进行，然后输出 YUV（或者RGB）格式数据，再通过 I/O 接口传输到 CPU 中处理。

流程：光->物体->镜头（lens）->sensor(光电转换，电数字信号转换)->ISP/DSP(算法处理)->RGB图片

Bayer

使用bayer数据原因：传感器通常分别接收红色，绿、蓝三重信息，然后将红、绿、蓝色三重信息合成彩色图像。该方案需要三个滤镜，这个价格贵，不容易制造，因为三块滤镜都必须保证每一个像素点都对齐。
bayer通过在黑白 cmos 图像传感器的基础上，增加彩色滤波结构和彩色信息处理模块图像的彩色信息，处理彩色信息，您可以获得逼真的彩色图像。通常，覆盖彩色图像传感器表面的滤波器称为彩色滤波阵列（Color Filter Arrays，CFA）。
最常用的滤镜阵列是棋盘格式，绝大多数相机产品使用原色贝尔模板彩色滤波阵列（Bayer Pattern CFA）。R、G、B 滤镜阵列单元分别表示透红、透绿、透蓝。由于人的视觉对绿色最为敏感，所以在 Bayer CFA 中G分量是 R和B 的二倍，在每个像素点上只能获得一种颜色重量的信息，然后根据该颜色分量信息通过插值算法获得全色图像。【bayer数据是一维数据，RGB为三维数据】

常见算法简介

坏点检测

一般情况下， RGB 信号应与景物亮度呈线性响应，但由于 Senor 部分 pixel 不良导致输出信号异常，有白点或黑点。

Black level Correction(黑电平补偿)

由于暗电流的影响，传感器的实际原始数据不是我们需要的黑平衡(数据不是0)。

Demosaic颜色插值 (抵马赛克)

LSC(镜头矫正)

由于镜头本身的物理性质，造图像周围的亮度逐渐降低，而且，因为图像光是通过镜头照射的 pixel 上时，边角处的焦点夹角大于中心焦点夹角，导致边角失光。图像的效果是亮度从图像中心逐渐衰减到周围，离图像中心越远，亮度越暗。

AWB(Automatic White Balance)(自动白平衡)

白平衡的基本原理是在任何环境下，将白色物体还原为白色物体，也就是说，在图像中找到白块，然后调整R/G/B 的比例

色温可能产生

当光线通过 Bayer型 CFA（Color Filter Arrays）阵列之后，传感器上的单色光，每个像素都是单色光，所以理想Bayer 图是一个较为昏暗的马赛克图。首先要解释的是demosaiced它不是为了去除电影中的一些马赛克图像，而是为了在数字图像处理中从不完整color samples插值生成完整color samples(因为bayer pattern看起来像马赛克，所以叫去马赛克)。
就是去马赛克bayer格式到RGB图中左半部分的转换过程，仔细观察每个小方块都有一个软干的小格子，里面是bayer数据值。

ISP相关概念

相关文章