面向现代视觉系统的低功耗图像传感器
时间：2024-05-29 20:07:12
在更快的连贯速率、更高的自动化水平和更智能体系的推进下，加快了视觉手艺在制造业中的使用，并将智能化引入到以往简略的数据收集体系中。上一代视觉体系担任捉拿图象，对其举行封装以供传输，并为后续的FPGA、ASIC或低廉的SoC等器件供应图象数据举行处置。往常，工业5.0更进一步，经由过程在全部数据通路中融入野生智能（AI）与（ML），完成大规模定制化。摄像头变得智能化，具有在使用层面处置的图象数据，仅输入用于决议的元数据。
这两代之间的关头进展是存眷边缘端产生的变迁。咱们天下本质上以模仿为主，许多赞助咱们平常生存的电子与电机（EEM）体系都是由各类感知输出驱动的。视觉（光）、温度（热）、音频（声）、间隔与地位、压力（触觉）等体系边缘端的电子传感器收集这些物理输出，并将其转化为处置后的数据，以完成智能化并便利决议制订。提出了对这种传感器智能和高效的需要。往常，非工业及贸易使用畛域的浩繁传感器不息进展，从根底范例发展到吻合工业自动化流程和规范的加强版本。
在大规模接纳传感器的同时，人们也在推进更低功耗的电池驱动智能设置装备摆设普遍使用。功耗给视觉系统带来了分歧的挑衅，而如何故立异的要领解决这些挑衅，同时供应卓着的功能，将成为视觉体系的差异化要素。
图象传感器--视觉感知的输出机制
视觉感知已成为在边缘端收集数据的首要体式格局之一，收集到的图象数据可以或许被倏地且高效地用于决议制订。比方，若无视觉传感器，场景中的物体需求无数个特定的传感器来传播场景的组成。这会发生少量数据并需求重大的处置事情，或者还得靠好命运，能力失掉场景的实在显现。此外，在高效的体系中，一张图象就能在一帧数据中传播场景中的所有信息。
这类轻便的数据体现方式使图象传感器得以加快进展，为智能手机等消费类挪移产物供应支撑，其分辨率跨越一亿像素，在硬件和软件的支持下，为动态图象和视频流供应卓着的细节特性。因为挪移产物首要服务于娱乐和小我私家使用，是以其制订决议的目的略有分歧。然而，面向汽车、工业和贸易使用的视觉体系服务于高度以目的为导向的需要，此中许多体系应用（传感器）输入举行基于机械的决议，并请求在分辨率、帧率和功耗之间达到精致均衡。
跟着边缘智能的重要性日趋加强，这些使用必需顺应不同用例需要。当初，许多使用都需求更高的分辨率和更卓越的团体功能，以辅佐计算机视觉、机械视觉和自动化决的策体系。不少情况下，人们异常盼望取得更厚实的细节，由于这些细节有助于缩小谬误决议。跟着分辨率的进步，图象传感器中的像素数目也会增添，响应地，传感器向图象旌旗灯号处理器（ISP）或体系芯片（SoC）供应的图象数据量也会增添。传感器发生的少量图象数据以及ISP/SoC对这些数据的处剖析致使高功耗，从而给视觉体系设想带来伟大担负。
图1 图象传感器发生的数据随分辨率和帧速度成指数增进
当初，设想职员需求应答高功率电子元件带来的高功率传输、功耗和体系物料清单（BOM）本钱等题目。尽管下降功耗是局势所趋，但热治理也是一个挑衅，由于大多数视觉体系都依附对流气流来分发体系中发生的热量。图象传感器对热量高度敏感，假如不克不及抉择适量的设想并无效治理上述要素，就会发生不可靠的视觉体系。
统统始于量子服从
图象传感器的量子服从（QE）是指光电二极管最大限度地将入射光子转换成电子的才能。众所周知，QE 越高，图象亮度越好。更高的 QE 值在弱光条件下异常首要，这平日经由过程应用更大的像素尺寸或在场景中增添可见光或弗成见光来完成。无论哪类要领，都市增添视觉体系必需支撑的本钱、功耗和空间，并可能会依据图象传感器的功能和场景前提呈指数级增进。
图2分歧波长下可比拟像素尺寸的归一化量子服从曲线
这在平日应用红外发光二极管（IR LED）的弗成见照明情况下特别紧张，其发生的光波长为850nm和940nm。这些波长能被图象传感器探测到，但人眼无奈发觉。在行业中，这平日被称为 "自动照明"。 红外发光二极管需求供电并发生功耗，占用少量空间，并显著增添体系 BOM本钱。在近红外光谱中拥有高量子服从的图象传感器可以或许在不就义图象品质的前提下，缩小其应用数目、下降光照强度以及整体BOM本钱。
图象品质更高，整体领有本钱更低
首要的是要确保图象传感器像素供应的高 QE 不会遭到数据通路其余部份噪声的影响，从而影响团体图象品质。比方，假如像素布局没有足够的像素隔断，像素间串扰就会下降调制通报函数（MTF）和对图象的对比度/清晰度，终究影响图象品质。另一个大概造成侵害的要素是读出电路功能欠安致使的高读取噪声。
图象品质欠安会给ISP/SoC带来不必要的担负，使其需求处置更多的数据，从而下降视觉体系的团体帧率，或许以更高的时钟频次运转来维持沟通的端到端时序。在前一种情况下，视觉体系的服从会大大下降，而无论哪类情形，体系终究都市发生更多的功耗。为了应答处置担负，大概需求配备更进步前辈资本的ISP/SoC，这将进一步增添整体BOM本钱。而优异的图象输入品质可以或许减缓上述各种缺乏，下降视觉体系的整体领有本钱。
子采样模式
安森美（onsemi）公司的图象传感器（比方HyperluxTM LP产物系列）曾经意想到这些操纵需要，并集成为了多种子采样模式。这些模式，如分开（Binning）、裁剪（Cropping）和跳采（Skipping），可以或许大大缩小天生和传输所需的带宽。
安森美Hyperlux LP系列产物
这些功能使视觉体系变得异常智能，可以或许依据用例需要抉择最优的功耗/功能设置。比方，在生物辨认扫描仪中，当初能够应用配备500万像素传感器阵列的单个体系，以逐步加强的扫描体式格局，实现子采样模式下的单个指纹扫描到全分辨率脸部扫描。最首要的是，ISP/SoC接收到的数据量缩小，从而降低了其本身及全部视觉体系的功耗。
缩减数据范围
高分辨率图象传感器会占用少量带宽来输入数据。比方，以60帧/秒速率事情的2000万像素传感器将传输12 Gbps图象数据，这些数据不但需要在传感器外部的高速接口中妥当处置，还需要由接受这些数据的ISP/SoC举行处置。处置云云重大的数据需求在这些处置引擎中投入低廉且公用的资本和电力，并大概致使少量的功耗/热治理题目。另外，接口速率的限定也增加了这一挑衅。
在大多数使用中，大概惟独小部分时候需要在全分辨率下全速运转，别的时候则仅需较低分辨率。尽管子采样模式能够下降带宽并有其本身上风，但在分辨率抉择或场景完整性方面会遭到必定的限定。
传感器内的缩放器有助于降服这些限定，无效餍足低分辨率操纵的需要。它们可以或许在泉源操纵带宽，而不是由 ISP/SoC 治理。它们可以或许在最大程度上供应精致的粒度操纵，同时坚持残缺的视场角（FOV）。安森美 AR2020 图象传感器（Hyperlux LP 产物系列的 2000万像素成员）的图象缩放算法异常庞杂，纵然在分辨率大幅缩放的情况下，也能供应卓越的图象品质。举例来讲尽管猎取远距离物体的细节确凿需求 2000 万像素大概只需要图象的某个特定地区，而不是全部图象经由过程对这一静态界说地区举行裁剪或缩放就能取得 2000万像素传感器上风，而无需继续处置相当于 2000万像素的数据。
图4 scaling比binning发生的伪影更少，从而进步图象输入结果
传感器能够处于极低事情状况，在大多数事情时间内以低分辨率、最低速度运转。当检测到活动时，它会切换到预约设置活动叫醒（WOM）模式图象传感器才能处置这些变迁，并让 ISP/SoC 将其切换到所需的模式设置。它还能进一步屏障使用有关活动地区，从而使传感器和视觉体系加倍精准、高效曩昔，这一性能是在处理器实现的，但在传感器完成这一性能缩小体系资本和功耗。
