车载机视觉图像传感需求——Mobileye在2021图像传感器工作会议上发表演讲

在2021年国际图像传感器工作会议上（IISW2021), 主办方特约mobileye做个‘从ADAS及AV（自动驾驶）应用需求的角度如何设计图像传感器’的演讲。

Mobileye成像架构师HDR介绍了其车载机的视觉切入点Soc方法论对传感器的设计要求具有重要的参考意义。

*需要芯片设计match具体的应用

车载领域的视觉芯片继承了传统的相机应用，因此倾向于供人们观看，但这与当前的车载应用有关ADAS/AV需求不一致，ADAS和AV不输出供人观看的图像。

ADAS/AV Soc输出判决是综合结果，判决过程是Soc制造商需要知识产权保密的范围，这对图像传感器的设计造成了不确定性。尽管如此，传感器的设计仍有办法遵循。

case 1-进出隧道

就车载应用而言，非常基本HDR需求点是汽车进出隧道，如下图所示：

难点有三：

1.高速行驶，处理时间短。

2.进出隧道光线变化剧烈。如果事故车辆停在这种情况下前处理将非常紧急。

3.阳光照射角度很低，导致路面照明明亮。

* 应该检测到哪些元素？

1.前方车辆是在隧道内还是隧道外？

2.地面路标

3.隧道外路面有什么变化？

4.发生了什么事故？

*如果是传统的相机，处理这个场景会有什么问题？

这样的控制过程会出现相机的自动曝光:

若相机帧率为30fps，10帧图像AE能达到收敛，速度是100KM/h,然后汽车在看不见前方的路上行驶近10米。ADAS/AV决策不是基于一帧图像，而是基于一系列连续图像，这是正确的HDR需求是必要的。

case 2---夜景HDR场景

*夜景HDR场景是另一个困难的场景case

1.检测黑暗中的路人(300/22bit)

2.检测到亮闪闪的灯和交通灯(6626240/2629632/24bit)

从ADAS/AV从应用角度来看，传感器需要一帧曝光才能达到以下指标

1.需要LFW达到10Me,

2.需要24bit的ADC

从成本和物理尺寸限制的角度来看，实现这一指标可能是不现实的，因此有必要在某些技术上妥协，并尽可能满足这一需求。例如，多帧曝光集成HDR技术：

时域多帧融合HDR的缺陷：

1.曝光之间的图像变化

2.SNR drop

3.牺牲一定的动态范围

3、4曝光 HDR解决了一些问题，但仍然有局限性

人、车、路标、交通灯的检测属于基本要求，属于high contrast物体相对容易检测。

由于对噪音非常敏感，路面纹理很难检测，自动驾驶往往需要根据纹理来判断路面，然后决定开车去哪里。HDR路面纹理可以在车载条件下检测到HDR重要需求。

*单曝光 高Analog Gain

为了应对low light在近光灯下，检测远处行人的情况，一般采用单曝光高AG，虽然DR但是SNR改善。这种情况通常是低温的，所以DSNU不是主要的，readnoise 也不大，shot noise主噪声。

*如果在HDR使用融合High AG

1.Low light SNR会好，但是SNR drop会比较大，所以会看到noisy的天空，

2.SNR drop在较低的照明下，闪烁的街灯会导致路面纹理的变化。

所以在夜景中很难检测到所有的元素。

*High Gain low Gain HDR 融合

这种方法可以解决低光路面纹理问题，但为了让low gain不饱和，只能使用很短的曝光时间，所以有led 灯闪问题。

*HDR对于车载ADAS/AV应用的'Error Recovery'是必须的

一个soc 芯片通常连接十几个camera，任何一个camera问题会影响整个系统。camera会增加更大的风险，因此系统需要瞬时错误的恢复机制（transient error recovery）。

如下图所示：当Frame1 camera发生错误，在Frame2的header在frame3可以修复错误，因此错误的恢复时间至少为3帧。

这个机制和AE类似地，如果瞬态错误和AE控制逻辑耦合会增加系统的不稳定性。

所以‘不需要AE控制’加‘HDR这种理想的状态是：

立即检测和消除一帧错误。简化系统设计，降低风险。

*回到我们最初的梦想:曝光可以获得10Me LFW（linear Full Well），24bit的图像

工业界如何逐步满足这一看似不可能的需求？

从IISW可方面，工业界正在提高像素LFW，比如增加overflow capacitor，Onsemi在2020年推出的3um HDR sensor这是一个很好的例子。

Double readout split photo diode是另一种技术，有double sampling就可以避免exp只能在低光下使用High gain，spd虽然减小了LFW会增加hdr noise，但在其他方面得到了好处。

Sony的3um split pixel设计达到了132dB @single exposure，pixel LFW 166ke，如下图所示，这逐渐接近10Me（140dB）最初的梦想。

Sony的大像素是3um，小像素是14.5倍less sensitive，这是小像素pixel 是0.8um。（sony现在已经量产了>140dB LFM的车载sensor， Maver Jiang 注）

OV的split pixel采用3 exposure 4capture设计可达144dB（24b）如下图所示：

Led market光源越来越亮是这种设计的潜在风险，但目前仍然存在ok的。

*将传感器的性能与现实联系起来，而不是空设计图纸

Sensor工厂的设计通常以某种模型简单地表示，如下图所示：

而soc或者系统工厂面临着复杂的实际场景，如下图所示：

Sensor在介绍产品性能时，工厂总是使用数学模型，例如Sony以小像素提到它们HCG处理方法LCG SPD high dark current的问题，sony 用上述模型来解释它们的性能，

然而，从系统方案开发的角度来看，这种性能介绍是不够的。我们希望一些不同的性能显示可以与实际问题有关，如使用Driving Data来了解到底SNR drop图像出现在哪一部分。