监控相机简介
时间:2022-08-25 09:30:00
文章目录
-
- 一、相机工作流程
- 二、相机硬件介绍
-
- 2.1 Lenses&Spaces
- 2.2 Voice Coil Motor(VCM)
- 2.3 CMOS Image Sensor(CIS)
- 2.4 补光灯
- 三、相机曝光调整
-
- 3.1 光圈
- 3.2 快门速度
- 3.3 ISO 感光度
- 3.4 曝光补偿
- 3.5 色温
- 3.6 数字增益
- 四、相机图像处理
- 五、相机图像相关概念
-
- 5.1 色域
- 5.2 色深
- 5.3 色准
- 5.4 对比度
- 5.5 清晰度
- 5.6 码率
- 六、参考资料
一、相机工作流程
- 打开手机拍照时,
镜头(Lens)
会议首先投影被摄景物图像传感器(Sensor)
与此同时,上,影像处理器(ISP)
合适的参数将通过测光和测距计算并指示镜头对焦 - 按下拍照键,
图像传感器(Sensor)
会完成一次曝光,并通过影像处理器(ISP)
变成图片,然后通过手机后期处理应用,最终出现在屏幕上,这是消费者看到的 JPG 图像
二、相机硬件介绍
2.1 Lenses&Spaces
- 镜头是在传感器上拍摄景物的装置。它通常由几个镜头组成。从材料上看,相机镜头可分为塑料镜头和玻璃镜头
- 镜头的主要指标:分析度(Resolution)、视场角(Fov)、焦距(Focus length)、聚焦能力(Focusing Range)、光圈系数,失真(Restortion)
2.2 Voice Coil Motor(VCM)
- 音圈电机:广泛使用手机摄像头 VCM 通过自动对焦功能实现自动对焦功能 VCM 可以调整镜头的位置,呈现清晰的图像
- 实现原理:主要是通过固定磁场加电流产生力,然后引起电机运动和对焦,在空间中找到对焦位置,并通过对焦算法确定何时停止对焦位置
2.3 CMOS Image Sensor(CIS)
- 图像传感器:是摄像头的核心,也是最关键的技术,主要有两种,一种是 CCD 一种是传感器 CMOS 传感器
- 图像传感器的主要指标:
- 灵敏度(sensitivity mv/lux.sec):即 1 lux 照度下,1 反应传感器的秒像素产生的电压值光电转换效率
- 动态范围(Dynamic Range dB):动态范围大的传感器可以准确记录图像从亮部到暗部的复杂变化,sensor 动态范围在很大程度上取决于单个像素面积的大小
- 暗电流(Dark shading pA.cm2):即在完全黑暗的情况下,1s 内像素产生的电压值反映了传感器材料的性能
- 信噪比(dB):信号电压与噪声电压的比值
- 帧率(frame per second):一秒出帧数
- 功耗(power consumption mw)、尺寸
- 白平衡能力
2.4 补光灯
-
常亮补光灯:主要是指夜间用监控摄像头补光,夜间一直亮着,没有闪光功能,与普通照明灯具相同
-
频闪补光灯:光源根据时间和一定频率变化(人眼看起来很亮,但实际上与相机曝光频率同步闪烁),与相机视频同步,可以实现与视频流中的每帧曝光同步,既能进行
录像补光
又能进行抓拍补光
,一般可用于视频检测或车牌补光
-
爆闪补光灯:亮度高于频闪补光灯,可以做到单帧同步曝光(当系统检测到一辆车经过时,它会闪烁,没有车就不会闪烁)。补光效果好,有
抓拍补光
多用于电子警察、卡口系统、公路治安等夜间补光拍整车或者司机高清照片
三、相机曝光调整
- 曝光指进入相机并照射到数字传感器上光量,它是衡量照片有多暗或多亮的指标。我们可以通过改变
光圈,快门速度和 ISO
设置以控制到达传感器的光量。- 有现代相机自动测光功能,自动测光系统将尝试接近图片的整体亮度中性灰,通过调整
曝光补偿
让相机拍摄的照片更符合真实和实际意图
3.1 光圈
- 光圈是指光线进入相机时镜头开口的大小,孔径大小以 f 对于单位测量,孔径越大,单位时间内通过的光越多
- 常见光圈值如下:
f/1.0, f/1.4, f/2, f/2.8, f/4, f/5.6, f/8, f/11, f/16, f/22, f/32
,f/
后面的值越小,光圈越大- 与光圈大小相反,光圈越大,景深越浅(背景达到背景虚拟化的效果),景深越小,光圈越深(从前景到背景都很清楚)
3.2 快门速度
- 快门速度是指 镜头上的开口保持打开 使光线进入相机和传感器 时间长度 ,快门速度可以是 1 / 10000 秒(快速定格)或几分钟(长曝光)
- 具有快速快门速度
冻结运动
的效果; 相反,慢速快门(通常低于 1/30s 快门速度)会使场景运动模糊
3.3 ISO 感光度
- ISO 感光度是指图像传感器 CCD/CMOS 对光的敏感性
- 当光圈大小固定时,更高 ISO感光度 能够使用更高的快门速度获得相同的曝光率,若在固定场景中,ISO感光度等于
100
快门速度为2s
如果能得到正确的曝光,那么ISO感光度等于200
时只需1s
快门速度,ISO感光度等于400
则只需0.5s
快门速度- 常用的ISO感光度从
100、200、400
开始倍增,有些相机可以高达25600
,ISO 的大小会直接影响图像亮度,高的 SO感光度可以使用较高的快门速度(避免相机抖动导致画面模糊)获取正确曝光的照片,但是图像噪声也会随之增加,要想获取精细的画面,如在风光摄影中,通常将相机 ISO感光度设置为最低
3.4 曝光补偿
- 如果你发现你的照片太亮或曝光过度,你可以简单地通过减一档曝光来降低曝光量,这会使照片的光线变暗
- 有时候,无论你使用哪种光圈和快门速度,你的相机都无法完全表现场景中的
明暗细节
。这是因为大部分相机的宽容度都有效,宽容度可以理解成相机中能看到细节的最暗与最亮的区间,如果这个区间越大,那么画面能表现的明暗细节越大,人眼的宽容度就比相机高很多,这时我们可以使用HDR技术。- HDR 是一种合成技术,通常采取 3 个相同的场景的照片,一个与曝光设置为 “0”,另一个故意曝光不足 2 档和最后一个故意过曝 2 档。 然后,将这些照片在后期处理中合成,得到"完美的"曝光
- 在下面的例子中,对布拉格的查尔斯桥进行了 3 次曝光,然后在后期制作中将它们混合在一起,制作出了一张单独的照片,在画面的所有区域都有大量的细节
3.5 色温
- 色温从字面解就是颜色的温度,红黄啡这些颜色我们称之为暖色,而青蓝绿这些我们称为冷色
- 色温的单位是以 K(Kelvin,绝对温度) 值来作表示。在低色温光源下,白色物体偏红,色调风格为
暖色
;在高色温光
源下,白色物体偏蓝,色调风格为冷色
- 白平衡:在不同色温的光源下,白色在传感器中的响应会偏蓝或偏红,白平衡算法通过
调整 R, G, B 三个颜色通道的强度
,使白色真实呈现:- 色温值低于环境值就能得到一张偏蓝色的照片
- 色温值高于环境值就会得到一张偏黄色的照片
- 色温值等于环境值就会得到一张原色的照片
- 一些常见色温的实例:
- 16000-20000K:天空碧蓝的天气
- 8000K:浓雾弥漫的天气
- 6500K:浓云密布的天气
- 6000K:略有阴云的天气
- 5500K:一般的日光,电子闪光灯
- 5200K:灿烂的正午阳光
5000K
:日光,这是用于摄影、美术和其他目的专业灯箱的最常用标准- 3200K:日光灯
2800K
:钨丝灯/电灯泡(日常家用灯泡)- 1800K:烛光
- 1600K:日出和日落
3.6 数字增益
- 增益分为模拟增益放大和数字增益放大,前者直接应用在传感器上(靠放慢快门和开大光圈来实现),后者则是通过处理数字信号的方式实现(在拍摄过程中通过运算来提亮画面,会造成颗粒增加,画面模糊); ISO和增益属于模拟放大,动态范围的分布不会改变;EI 属于数字放大,动态范围的分布会改变
- 增益的分贝与 ISO 相对应,每 +6db 相当于 ISO 翻一倍,随着 gain 值增大会带入相应的噪声
- 在传统图像处理中,
不同的曝光时间可以通过数字增益进行调节
,即短曝光的图像通过乘以相应的数字增益可以得到长曝光的图像
- 通过将
短曝光的 Raw RGB 图像乘以数字增益
可以得到长曝光的网络需要拟合的图像,减轻网络学习的复杂度,帮助网络的收敛- 其中增益值可以通过快门时间来计算,详细地说,若快门时间 1 为 0.1 秒,快门时间 2 为 0.2秒,则快门 1 到快门 2 的增益为
0.2/0.1=2
四、相机之图像处理
- ISP 芯片的主要作用就是对传感器输入的信号进行运算处理,最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果
- 下图是一个基本的 isp pipeline 流程图,其根据处理节点的不同分为 RAW域、YUV域、RGB域。其中 isp pipeline最关键的是3A算法,即 AE、AF、AWB,但从上述图发现没有AE和AF?实际上这两个算法在 raw 图施加到 pipeline上时候已经提前调试好了,因为只有 AE 曝光稳定,AF 对焦准确,对于 Raw 域和 YUV 域进行的图像处理才有意义,否则都没有稳定的光电感应和准确对焦,何来更高的图像质量?
五、相机之图像相关概念
5.1 色域
- 指某种表色模式所能表达的颜色构成的范围区域,分为 RGB、AdobeRGB、NTSC(BT601 色域标准)、REC 709(BT709 色域标准)、DCI-P3(BT2020 色域标准)
5.2 色深
- 指色彩数量的多少,它影响的是色彩过渡的平滑程度。目前市面上主流的显示器色深基本上就三种:6bit,8bit,10bit,色彩数量越多,过渡越顺滑
- 超高清蓝光标准中规定色深为 10bit,即能够显示 1
0.7 亿
种颜色(RGB中每一个颜色有2的10次方也就是1024个等级,RGB三色则共有10.7亿(1024×1024×1024)种色彩搭配)。而普通蓝光标准支持的是 8bit 色深,只有1677万
种颜色,差距悬殊。
5.3 色准
- 色准就是色彩精准度,一般用△E值表示显示器色彩与标准值之间的差距有多大,△E值越小、颜色准确度越高
- 大众级显示器的△ E值在3-12之间,可以满足普通人日常上网、打游戏、看视频的需求;色彩精准度 △E≤2,在色彩表现方面就非常专业了
5.4 对比度
- 对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比越大,差异范围越小代表对比越小,从视觉上来看就是
画面的明暗反差程度
- HDR,高动态对比度,表现在画面上就是能够同时照顾到暗部与高亮细节,带来更接近人眼视觉的动态范围
- 增加对比度,画面中亮的地方会更亮,暗的地方会更暗,明暗反差会增强
- 假如图像上明暗变化均匀,最亮处与最暗处的差值没有超过但是接近显示器的动态范围,那么可以看到图像丰富的明暗层次
- 假如最亮处与最暗处的差值远小于显示器的动态范围的最小值,那么图像层次减少,会出现雾蒙蒙的感觉
- 假如最亮处与最暗处的差值超过了显示器的动态范围的最大值,那么图像部分层次会丢失,出现全亮或全暗的区域
5.5 清晰度
- 指的是
被摄主体边缘附近的灰度对比
,如果增加清晰度,边缘较暗的一侧会变得更暗,边缘较亮的一侧会变得更亮,轮廓会更加清晰,不过如果调节过度会使得边缘附近出现 伪影 - 增加清晰度可以通过
锐化
操作来进行,降低清晰度可以通过降低图像分辨率、增加模糊
等方法来进行
5.6 码率
- 码率(也称比特率 Bit Rate)就是数据传输时单位时间传送的数据位数,一般我们用的单位是
kbps
(千位每秒)或Mbps
(百万位每秒) - 码率决定着编码器压缩视频的程度,是决定视频最终质量和文件大小的关键因素:
- 图像分辨率固定的情况下,
码率越低
,表示压缩程度越高,视频质量相对较差
,视频文件相对较小 - 图像分辨率固定的情况下,
码率越高
,表示压缩程度越低,视频质量相对越高
,视频文件也就越大
- 图像分辨率固定的情况下,
- 举例说明如下:
- 对于 YUV422 格式的 1080P 视频而言,一帧图像所占用的数据量为:
1920x1080x2x8/1024/1024 = 31.64Mb
,假如帧率为30fps
,码率为10Mbps
,则单位时间内需要传输的数据量为949.2Mbs
- 可见其数据量之大,不经过视频压缩处理根本无法在网上传播,1080P 的视频的清晰度还跟视频码率密切相关,蓝光视频的码率是
20Mbps
,一般下载的视频码率大都是10Mbps
,一些 IPCamera 的码率是2-8Mbps
- 对于 YUV422 格式的 1080P 视频而言,一帧图像所占用的数据量为:
六、参考资料
1、大话成像技术论坛
2、ISP 图像处理
3、https://github.com/cruxopen/openISP
4、https://github.com/jhfmat/ISP-pipeline-hdrplus
5、摄像头是如何拍出照片的,你知道吗?
6、关于码率