CMOS Sensor的调试经验

come from :https://blog.csdn.net/lxllinux/article/details/79045867

总结摄像头问题及解决方案
一、名词解释
1. 白平衡
白平衡指的是传感器对在光线不断变化环境下的色彩准确重现的能力表示。大多数拍照系统具有自动白平衡的功能，从而能在光线条件变化下自动改变白平衡值。设计工程师寻找的图像传感器应该配备了一个很好的自动白平衡（AWB）控制，从而提供正确的色彩重现。
2. 动态范围
动态范围测量了 图像传感器在同一张照片中同时捕获光明和黑暗物体的能力，通常定义为最亮信号与最暗信号（噪声门槛级别）比值的对数，通常用54dB作为商业 图像传感器的一般指标。具有较宽动态范围的 图像传感器可以在光环境中提供更好的性能（例如，在光环境中使用窄动态范围传感器拍摄的照片会清洗或模糊）
3. 工频干扰 (Banding)
Sensor当日光作为光源获取图像数据时，就会产生flicker，根本原因是照片不同pixel不同的光能产生，不同的光能是不同的图像亮度。
由于CMOS sensor曝光方式是一行一行，任何一行pixel曝光时间相同，即同一行中的每一行pixel曝光的开始点和曝光时间完全相同，所以同一行的所有点都收到相同的能量，虽然不同行之间的曝光时间相同，但曝光的开始点不同，所以不同行之间的能量不一定相同。为了使不同行之间的能量相同，我们必须找到一个特定的条件，这样即使每行的曝光开始点不同，接收的光能量也相同，以避免flicker，曝光时间必须是光能周期的整数倍。
Banding交流电光源由工频干扰引起，光强波动，我国交流电频率为50Hz，光强的波动是100Hz，周期10ms。如果camera曝光时间不是10ms整数倍，所以在不同的感光表面接收到的光能量必须不同，反映在图像上有明暗条纹。banding你必须想办法让曝光时间是10ms的整数倍！60Hz交流电需要控制曝光时间8.33ms的整数倍。
以50Hz例如，有两种方法可以实现这一点：
1、设置曝光控制，强制为10ms整数倍变化，但这会浪费部分曝光时间，导致曝光不能充分使用，性能自然会在室内丧失。
2、修改桢率，使每桢图像分到的时间是10ms整数倍，可使用满每真曝光时间，室内效果更好。可插入修改震率Dummy Line或者Dummy Pixel。这需要一点计算，具体计算需要看sensor输出Timing。
例如把桢率设置为7.14fps，每真曝光时间为140ms。如果是15fps，每真曝光时间为66.66ms，若强制曝光为10ms整数倍，最大60倍ms，则有6.66ms不能参与曝光，性能损失。
具体调整桢率方法得和sensor的FAE沟通，每个sensor可能不一样，不能一概而论。调整真率还有一个原则需要注意，预览一般不能低于 10fps，再低也很卡，常用14.3fps和12.5fps；抓拍不能低于5fps，否则，很难用手拍清晰的照片，通常是7.14fps。真率是权
的选择，高了曝光时间不够，暗光效果太差，低了没法拍照，容易虚。
4. Lens Shading (color shading)
5. Chief Ray Angle
拍摄镜头和传感器之间的接口是整个可拍照手机系统中最重要 的接口之一。随着镜头的长度变得越来越短，光线到达传感器像素位置的角度也就会变得越来越大。每个像素上都有一个微镜头。微镜头的主要功能就是将来自不同 角度的光线聚焦在此像素上。然而，随着像素位置的角度越来越大，某些光线将无法聚焦在像素上，从而导致光线损失和像素响应降低。
从镜头的传感器一侧，可以聚焦到像素上的光线的最大角度被定义为一个参数，称为主光角(CRA)。主光角的一般定义是，这个角度的像素响应降低到零度角像素响应的80%（此时，这个像素垂直于光）。
光 线进入每个像素的角度将依赖于该像素所处的位置。镜头轴心线附近的光线将以接近零度的角度进入像素中。随着它与轴心线的距离增大，角度也将随之增大。CRA传感器中像素的位置与镜头的设计有关。非常紧凑的镜头有非常复杂的CRA模式。假如镜头CRA如果与传感器的微镜头设计 不匹配，通过传感器的光强度（即阴影）将不理想。这种现象可以通过改变微镜头设计和适当处理图像来大大降低。
改 变微镜头设计可以大大降低阴影现象。然而，在改变微镜头设计时，必须与镜头设计者密切配合，以便为各种拍摄镜头找到适合的CRA模式。相机设计工程师应确保实现这种技术合作，并确保传感器和镜头CRA特性可以很好地匹配。美光开发了相关的模拟工具和评价工具，以确保该目标的成功实现。
由于光 线是沿着不同的角度入射到传感器上的，因此对于各种镜头设计而言，阴影现象都是固有的。“cos4定律表明，减少的光与增加角度余弦值的四个方成比例 。此外，在某些镜头设计中，镜头本身可能会阻挡部分光（称为光晕），这也会导致阴影现象。因此，即使微镜头设计可以减少短镜头的阴影 现象，这种现象仍然或多或少存在。为了为相机设计师提供额外的方法来纠正阴影现象，MT9D嵌入在111中的图像处理器包含阴影校正功能，它是为一些 特定镜头定制的。为了帮助设计工程师将传感器集成到他们的产品中，美光为他生产的所有传感器产品提供了各种开发软件。通过使用这些软件，相机设计工程师可以简化默认值的修改过程。每个变化的结果都可以显示在一个PC在监控器上。对于许多相机中使用的新镜头，通过使用该开发系统，可以设置校正镜头的阴影和空间颜色失真的参数。通过使用均匀点亮的白色目标，可以简单地测试设置响应过程。软件开发工具可以显示对阴影现象的 分析结果。之后，工程师可以使用区域方法来应用校正值。相机设计将保存在校正过程中的寄存器设置。
6. Binning
Binning将相邻像元中的感应电荷加在一起，以像素模式读取。Binning分为水平方向Binning垂直方向 Binning，水平方向Binning将相邻行的电荷加在一起读出，垂直方向Binning读取相邻列的电荷，Binning这种 技术的优点是可以将几个像素作为像素结合起来，提高灵敏度、输出速度和分辨率
同时采用Binning当使用 2:2时，图像的纵横比不会改变Binning，图像的分析度将降低75%。手机小屏幕上Preview建议使用这种方法 而不是通过DSP做抽点动作。
7. IR cut (过滤红外光)
sensor不仅对可见光谱感光，还对红外光谱感光. IR就是infrared如果没有红外光IR-Cut Filter,图像会明显偏红，不能用软件调整。一般来说，IR-Cut在650 /-10nm,而UV,紫外光的能量很小，通常被忽略.
未加IR cut 拍摄的照片最大的影响是图像的颜色.
二、图像传感器拍摄问题汇总
1. 横向条纹
比如出现横向的紫色或绿色条纹。一般情况下是时序有问题。
实例图如下：
硬件改善了MCLK和PCLK现在基本没有绿线了。.
走线的时候要注意 MCLK、PCLK还有帧同步（vsync）和行同步（hsync），基本上，市场上的芯片信号应该是分开的，最好添加GND shielding.
总结:
现象: 闪横的紫色或绿色干扰线
原因: Hsync与高速线的距离太近，产生耦合(10cm大约5条高速线产生pF左右耦合电容)，导致HSYNC不能迅速拉升到90%的区域，相位不同步，最终数据采集错位。然后，因为YUV算法的作用导致绿线和紫色闪线。
解决办法：绝对禁止将HSYNC，PCLK，MCLK三根线挤在一起走线。HSYNC夹在低速线SDA和SCL之间
2）PCLK和MCLK如果一定要贴线，最好拉开一点距离，夹一根地线。
2. 颜色和亮度不连续
一般是数据线存在短路、断路和连错的问题。图像会出现类似于水波纹的等高线或大面积色偏. D如果信号丢失，整个画面也会有色偏，比如RGB565,D0~D由于蓝蓝色和绿色信号丢失过多，均匀断路图像呈红色。
1）一根数据线虚焊导致的等高线及颜色失真例子
等高线
正常的图像
2）两根数据线和其他设备复用导致的偏绿问题
8根数据线中有两根被其它设备复用了，所以这两跟线没出数据。
3）数据线接反的情况：
4）数据线错位
例1. 很难把OV2640是初始化的，但预览的图像是错误的。附件是我capture一张图(我的手指-_-|||）。我用Photoshop对上图进行发现只有G通道中有信号，RB通道全黑。
我测了一下2640的10根数据线与CSI16根数据线的连接关系发现硬件工程师布板错误sensor的10根数据线D[0]~D[9]连到了CSI的D[4]~D[15],而CSI取得的是D[8]~D[15]的8bit数据，结果造成了数据位的错位与丢失，造成了以上图像的状况。
5） 数据线问题例图汇总
第一张是亮度很低的情况下抓到的原始数据图像
第二张是将光圈调大以后出现的现象
3. 图像中只有红色或绿色
Y和U/V顺序不对。将相机的采样格式从CbYCrY改为YCbYCr之后，颜色就对了。示例图如下:
4. 横向不规则条纹
5. 垂直不规则条纹
6. 偏红
7. 热噪声.
过一段时间噪点逐渐增多.
开始工作时正常的，，没有色点，工作过一段时间后，模组开始出现色点，而且色点越来越多. 如上图所示. 原因：
工作一段时间sensor温度会提升，温度升高会加剧半导体材料的本征激发。这会导致sensor S/N降低，noise加重。这种情况和sensor材料关系大，后端或软件处理可以减缓这种情况，但不能根除。hot pixel，芯片过热。
8. 模拟电压过低或不稳定
模拟电压过低导致很强的光才能感应图像，并且偏色。
例1如下图所示，只有天花板上的灯管才感应成像，其他部分很模糊。
例2，模拟电压过低导致竖向条纹。提高AVDD问题解决后。
例3，在调试 OV7725时，我发现图像刚打开摄像头时有条纹。打开一段时间后，图像正常。谁知道原因吗；异常图像如下。发现问题是由模拟电压不稳定引起的。
9. 背部材料太薄，导致鬼影
补强的表面要用亚光黑油，防止漏光。
例1. OV2715异常图像，感测到了背面电路板的漏光，图像如下：
　　例2，GC0307 图像异常，如下图。 中间有条线，像分层那样的线，正常情况是没有。格科微的叫我们四周都补胶，就解决啦。
　　10. 由噪声导致的图像横纹
　　在新版的电路板中，将CMOS移到离主IC较远的地方现象就消失了，之前是放在主IC的背面，猜测是主IC对CMOS造成的影响，比如在模拟电压上引入噪声。 示例1 如下图所示。
　　示例2：
　　cmos为ov的30w像素，型号为ov7141。使用时出项很明显的水平方向的横波纹。 采用3.3v和2.5v供电，其中VDD_C和VDD_A是由2.5v供电，pcb上直接将他们连在一起接2.5v。直接铺地，没有划分模拟地和数字地。
　　使用外接电源对AVDD供电，没有出现上述现象。可以确定是由主板的电源噪声引起的
　　改板后效果还可以，主要改动有：
　　1) 原来是两层板，现在用的是4层板，有专门的电源层
　　2) LDO输出改用大容量的钽电容滤波。示波器测量电源纹波 比以前小了。
　　11. 工频干扰
　　在室外自然光下如果不会出现，那一定是50/60Hz引起的flicker;
　　12. Lens校准参数未调好导致的中间较亮的情况
　　用OV9650摄像头模组拍的图片，像素是800 X 600；中间较亮
　　从硬件来说，可能是lens set与sensor不匹配，特别是CRA，你得看看datasheet两者是否差距太大。
　　软件上，可能是lens correction没调好（个人感觉楼主状况属此列），设定好correction区域然后将gain值拉高让中心与周边亮度差异减少，如果此时整个画面过曝，可以将整体gain值再往下调（也可以设定曝光参数来减少画面亮度）。
　　按以上方法调整OV9650的几个与lens correction有关的寄存器的值，使中心和四周的亮度均匀！
　　13. 通过自动增益控制降低噪点
　　在调试OV7675时，图像有左边是模糊的，右边正常，图片如下：
　　将 AGC 调小之后不会出现了，但是没之前亮了.效果如下:
　　14. 自动曝光计算出现的偏绿现象
　　OV7670：
　　在室外光线较亮拍摄时，画面颜色任何时候都正常。
　　在室内光线较暗拍摄时，刚打开摄像时拍摄的画面偏绿，几秒钟之后就会恢复正常。
　　属于正常现象。
　　OV7670 30W 计算AE时间比较长。在计算AE的过程中容易出现偏色现象。 可以丢帧或者延时解决这个问题
　　15. 时序不对导致的图像上部或下部出现条纹 因Vsync偏移出现问题的例子如下图所示。
　　问题解决方法：
　　camera 模组的timing调整不了。修改AP的camera控制，使垂直同步偏移12 rows. 图像输出正确。
　　16. lens镜间反射导致的眩光
　　这是一颗5M的模组拍摄的图片，天花板的灯在视场外边缘，图中为何出现紫红色的光？是什么原因造成的？
　　属眩光现象，一般是由于多片lens镜间反射造成。通过改善镀膜制程，增加镜片透射率可以缓解次问题。
　　另外，这张照片光心偏到左边去了，holder偏移？lens set circle够大啊，这种偏移都能cover掉。
　　多谢各位关注，问题已经解决，此现象是lens组装到模组上面的机构问题产生。
　　17. pclk与vsync布线干扰
　　在调试一款手机摄像头(OV7675)时,发现画面垂直不同步,主要是画面的下半部分跳动很厉害,上半部分是好的.
　　问题已经找到了,帧同步VSYNC和PCLK布线有干扰
　　18. PCLK采样边沿选择不对导致的噪点
　　例1，图中有噪点
　　转换了一下Pclk的极性，这个躁点的问题得到了很好的解决。
　　例2. ov7675拍出来的照片发绿。可能是PCLK采样边缘不对，可以试试将pclk反向。也可能是数据线缺失问题。
　　例3， 如下图所示。通过修改pclk的上升沿和下降沿就解决了。
　　主要有两点：
　　1.修改PCLK的上升沿的斜率。 2.或者修改I/O的上升沿的斜率。
　　原因是不同厂家的模组layout的走线的长短，FPC的厚薄，都可能影响到PCLK的获取， FPC的公差过大，或者头板的制作是否有什么问题，都可能引起这个问题。 如果可以通过硬件的方式改变PCLK上升沿的斜率，也可以解决这个问题。
　　来结案了，通过修改pclk的上升沿和下降沿就解决了
　　19. FPN问题
　　白天或亮一点的地方是没有这个问题，就只有在低照度下使用闪光灯拍照会有这样的情形。
　　FPN( fixed pattern noise), 无解。
　　20. 台阶效应
　　gain过大，把digitalize的量化步距，乘大了，就出现台阶效应。还与内部的量化精度不够，有关系。
　　另外，若不同的颜色通道的gain不同（白平衡计算出的R/G/B_gain不同），会出现color phase error。
　　示意图，如下，只画了B、G两个通道，B_gain比G_gain大，会造成灰阶的景物，有的地方B大，有的地方G大，就会出现颜色不断交替。
　　结合上台阶效应，可能就会表现成的这幅图
　　21. 因电源问题产生的竖向条纹
　　现在已经确定是电源的问题了，我在每个电源都并上了一个大电容，条纹消失了。现在我是用CPU的I/O采集的，效果很好。
　　22. Lens与摄像头不匹配导致的部分偏红现象
　　图中下方居中的地方偏红。ov工程师将LENS CORRECTION调到了极限问题还存在，确认是LENS与SENSOR不匹配造成的，模组厂家更换了镜头后问题基本解决。
　　我下载了你的图片发现有以下问题：
　　１．首先你的照片awb就不对，本身这张照片就没有达到白平衡． ２．照片边界锯齿现象很严重．
　　３． 色偏问题，你首先要了解一下你的sensor的Lenschief ray angle角度是多少，还有lens的CRA是多少.如果lens的CRA小于sensor的．一定会有偏色的现象．要么换lens．如果市场上找不合适 的Lens,就说明sensor 本身品质不是很好．
　　4.理论上lens shading是解决lens的通透率不一样的问题．但也许各家回加自己的算法，可以一试．
　　５．如果Lens 和sensor都已经固定，可以人为想一些办法来减少色差． a.可以将颜色调淡点，这样就不太明显
　　b．做AWB校正，排除不同sensor对RGB感应的不同，引起AWB曲线走的不准．
　　CRA通俗的讲是lens的主轴光线和对成像有贡献的最大的如射光线的夹角,一般Lens厂商会提供CRA曲线,因为Lens从中心到四周的CRA是不一样的.
　　偏红除了SHADING外可能还是要调AWB，因为图片的下方其实就是一片白色，sensor在照白色的地方出现了偏红，再试试调整一下AWB，或者在灯箱里看看R,G,B的三条线是
　　否重合！
　　如果是AWB的问题，那为什么图像还有白色区域呢？AWB是不会调的有的偏色，有的不偏，不知道的就不要乱说。
　　如果是CRA不比配，那出现的偏色应该是对称的，下面偏紅则上面一定会偏紅。 个人觉得应该是漏光造成的，不是barrel就是通光孔那里引入了杂光。
　　23． DOVDD28走线过细过长以及地线不合理 现象：花屏
　　原因：2.8V电压因为导线上的电阻吸收了电压，导致驱动能力不够。地线被拉高并产生毛刺现象，影响信号完整性和数据采集。
　　24. DVDD电压有问题
　　图中的高光部分是办公室窗户。其它部分全黑，没有任何细节？ 是什么原因？AWB？AGC？还是对比度啊？
　　问题解决了，是DVDD电压不对。
　　datasheet写的1.8V，问了FAE结果是1.2V。
　　25. 增益小导致的白色条纹问题
　　当对着白色的物体时，刚进入预览时，会出现下图中显示的条纹，当移动手机时，则这种条纹消失，以后也不会出现，只有再次进入预览时可能会出现，请教各位大虾到底是什么原因？
　　这个问题，现在已经解决了，加大了初始化代码中的增益之后，就可以了。
　　26. 帧率问题导致的图像错位
　　Sensor为0v9655 在拍sxga 130万图像有时会出现图像错位的问题（如图），vga的则不会出现，帮忙分析。谢谢！
　　帧率太高了,暴光时间短了.可以调整VBLANK,HBLANK来解决 再降低FPS到5,试试,你的buffer速度呢?? 谢谢大家！在我这里降低帧速率比较有效。
　　27. 电源噪声
　　OV9653出现如图所示的横向纹路。
　　问题已经解决，电源问题，AVDD加钽电容就好了。估计是电源纹波比较严重导致的。