【笔记】HDR 成像技术学习（二）

从技术上讲，单帧HDR要比多帧HDR要简单得多。当早期设备处理能力不足时，单帧速度快，无拖影，性能要求低HDR反而要有更多的优势。到了HDR+时代，单帧HDR逐渐输给多帧合成HDR。技术迭代是如此残酷。这些技术在一些手机上短暂应用，但由于效果不佳，很快就退出了市场。

几次尝试的结果都很一般，硬件 HDR 出路在哪里？主流厂商也回答了这个问题。
一、行交织 HDR

多帧不同曝光的问题主要是处理运动物体的弱点，容易受到手抖动的影响。虽然多帧曝光的图像质量上限很高，但成本也很高。有没有更折衷的方法可以更好地处理运动物体，节省宝贵的计算资源和电力？

答案是行交织 HDR。

要理解行交织 HDR，首先要了解 CMOS 滚动快门的工作原理在现代手机中得到了应用（Rolling Shutter），也就是说，它的读取不是同时读取所有像素，而是从上到下一行读取。

在传统的多帧 HDR 在上一帧完成读取后，每一帧都需要进行。CMOS 将首先进行长曝光，然后从上到下完全读取整个图片的数据，然后开始曝光，从上到下读取，最后以同样的方式完成短曝光。换句话说，两帧之间的时间间隔是曝光时间 当传感器完全读取一帧时，在第一行像素被读取后，它需要等待其他行像素被读取才能开始曝光。

假如我们能让 CMOS 读取每一行像素后，立即开始下一次曝光，节省等待其他像素读取的时间。我们让 CMOS 在完成长曝光后，在阅读第一行时，第一行像素几乎立即开始曝光，而不需要等待其他行的像素阅读完成，此时，其他行也在阅读 - 在下一次曝光工作中，不同的曝光和读取交替进行，就像纺织中相互穿插的纱线一样，我们称之为交织技术。缩短了两帧之间的读取间隔，显著改善了物体运动带来的伪像。

以两次曝光为例，sensor每个行会先后输出两次长短曝光，从readout从角度看，是长曝光帧line与短曝光帧 line interleaving 依次输出：

当然，各厂商提出的方案 有些不同，Sony的称为DOL-HDR（Digital overlap），OV的称为staggered HDR，下面分别介绍。
1、DOL-HDR

索尼支持准同时输出多帧不同曝光时间的图像。ISP图像融合可以在收到多帧图像后生成HDR图像。

Sony在推出DOL宣传DOL是‘准同时’输出长短曝光。既然是‘准同时’，那就不是同时的，所以会有一些典型的时域多帧HDR图像质量问题DOL还有一些独特的IQ（image quality）问题——HDR Transition Artefacts。

从DOL hdr的noiseprofile可下图所示，在HDR拼接处，可见SNR显著变化叫做snrdrop，当SNRdrop大的时候，很明显edge，如上图所示。

曝光比越小，SNR drop就越小, 可以想象，如果曝光率为1，就没有了snr drop相反，曝光率越大，动态范围越大，snr drop也越大。
2、staggered HDR

与Sony不同的是，最多支持4:1曝光输出，即long，medium，short，veryshort。而OV最多支持3:1输出，即long，medium，short。

所以如果是一样的话exposure ratio合成后HDR图像sony能够达到更大的动态范围。

合成方法相同，存储先输出的曝光行line buffer，然后做frame stitch，形成HDR输出。

OV 支持四种输出方式：

支持输出3帧12bit ：L M S
把Long 和 Medium 曝光图像在sensor上完成stitch，成为16bit融合后的linear图像，加上原始short曝光图像（12bit）。
把long曝光和medium曝光融合后companded成12bit原始图像，加上原始图像short曝光图像（12bit）。
两帧12bit可以是原始图像long short， 或是medium short。

相比Sony 的DOL-HDR， OV灵活配置输出模式，以适应传输带宽的限制。

总结:行交织HDR在模式中，每帧的间隔从时域开始HDR的曝光时间 读出时间减少为只曝光时间。但由于相邻两行的时间间隔从之前只读一次短曝光变为读一次短曝光和几次长曝光，行交织在一起HDR读出时间会翻倍(倍数取决于每行曝光几次)，果冻效果会加剧。

在白天，即短曝光时间很短，你可以看到每帧的曝光间隔几乎可以忽略不记得，但仍然不能被视为同步，物体移，当光线不足时，效果会不令人满意。

一般而言，行交织HDR是目前普通消费领域最好的HDR合成方法之一。

二、Dual Gain

图像传感器的像素数越来越高， 单像素尺寸越来越小，现在1亿像素sensor pixel pitch已经到了0.8um。Pixel size变小带来的full well capacity 与SNR 性能差，地影也很大了sensor的动态范围，所以手机sensor厂需要采用新的技术手段解决改善这个问题。

        我们都知道CMOS图像传感器本质上是光电转换和模数转换两部分连接的一个器件。如果这两步转换都工作在一个确定倍数增益的状态下，输入多少光子与输出多少亮度之间应该是一一对应的。但是实际上有摄影知识的人都知道并不是这样，ISO在数码相机当中都是可以设置的，也就意味着“可变增益”——固定的光子数量下，输出的亮度可以不一致。当然了，这个不一致并不是完全没有代价的。        

        一个典型的CMOS感光元件（内置ADC），其输出图像的过程可以概括为以下几步：

    1. 光电二极管吸收能量并被激发，产生电子。
    2. 电子进入电荷阱。
    3. 断开光电管连接，电荷阱（本质上是电容）两端会有一个电压。
    4. 这个电压信号太弱，需要一次模拟放大，一般使用程控电压放大器（PGA）。
    5. 放大后的信号进入模数转换。

 

很明显在传统的CMOS技术当中，可以改变增益值（输出亮度和输入亮度比值）的步骤是4和5——或者这么说，改变4的增益倍数就相当于你在机身上设置ISO（模拟增益），改变5的增益倍数（数字增益）就是等效于使用扩展ISO或者后期在ACR里拉亮度。

        其次，在传感器技术当中经常提到一个性能参数叫满阱容量（Full-Well Capacity，FWC），在数字图像当中也会使用一个概念叫白点（White Level）。实际上对于一部相机和它输出的图像而言这两个值应该是一一对应的——满阱就意味着过曝，过曝输出的图像就是纯白。所以阱容（3当中这个电容的容量）也是会影响ISO的。

        因此，我们可以根据通过调整Gain来获得不同曝光值（不同ISO下）的图片，从而完成HDR。改变增益的位置不同，涉及的技术也不同，现在流行的主要是：双原生ISO技术（Dual Gain Amplifier） 和  双转换增益技术（Dual Conversion Gain，DCG）。下面分别进行介绍。
1、Dual Gain Amplifier

        Dual Gain Amplifier技术其实是在电路中提供了两条电路，连接增益大小不同的PGA。事实上，更准确地讲，该技术应称为双电路增益。 由于改变模拟增益相当于调整了ISO，因此，也被称为双原生ISO技术。

        值得一提的是，在小米10至尊纪念版相机主摄里，小米和豪威提出了"双原生ISO Fusion技术"，与双原生ISO技术比较如下：

具体技术原理有待查询资料。
2、Dual Conversion Gain

        我们通过调整阱容来获得不同增益的曝光值时，采用的就是双转换增益技术：像素有两个不同的FWC。在小FWC时，本底噪声小，对应较高的增益；在大FWC时，本底噪声大，对应较低的增益。这样减小了噪声的占比，即提高了信噪比。

由于需要改变阱容，实际上这一技术的实现在于特殊地像素结构：

 

        使用的方案，在FD节点和CFD电荷阱之间增加了一个Dual Gain Switch。在High conversion gain 的模式下，DCG保持断开，这样FD电容等于小电容FD，所以conversion gain大。当工作low conversion gain模式下，DCG保持连接，FD电容等于大电容，相应的CG就小。
三、Dual Gain+行交织 HDR

        OV在前面的基础上，在小米10 至尊纪念版采用的主摄 OV48C上实现了现了支持同时读出的dual gain，能同时读出一个更亮的和一个更暗的图片。基于此，利用这一技术搭配行交织 HDR，得到了一种更强的实现：

 

        在第一帧里，我们使用同样的曝光时间，同时读出高增益（High Conversion Gain，HCG）和低增益（Low Conversion Gain，LCG）两帧画面，实现长曝光和中曝光的效果，然后再补充一个短曝光即可，如果光比不是太大，放弃短曝光换取更短的迟滞也是可以的。

        这种增强版行交织 HDR 长曝光与中曝光之间完全没有时间差，可以进一步改善对运动物体的拍摄效果。