延续之前的机器视觉系列文章，从应用的角度介绍工业镜头的相关整理内容。

工业镜头是光、机、电技术的精确结合，光学系统由多个镜头（或反射器）组成，形成正确的物理图像关系，确保正确清晰的图像，是镜头的核心；机械装置包括固定光学元件（如镜筒、镜头座、压力圈、连接环等）、镜头调节机构（如光圈调节环、调焦环等）、连接机构（如常见C接口、CS接口)等。此外，一些镜头还具有自动调光圈、自动调焦或感知光强度的电子结构。它用于聚焦相机内部的光成像，产生尖锐的图像，以获得被测物体的细节。

①计算短边对应的像素数 E=B/C，相机长边和短边的像素数都要大于E
②像元尺寸=产品短边尺寸B/所选相机的短边像素数;
③放大倍率 =所选相机芯片短片尺寸/相机短边的视野范围
④可分辨的产品精度 =像元尺寸/放大倍率(判断是否小于C)
⑤对焦焦距 =工作距离*(1+1/放大倍率)单位mm
⑥镜头靶面尺寸要≥相机靶面尺寸，否则将出现黑角
⑦相机分辨率要小于2倍的镜头的解析度，即要求像面分辨率要大于1/(2*单个像元尺寸<单位取mm>)以上，单位线对/mm
另外，对于恒定光照条件的环境（一般为实验室环境），可选用固定光圈的镜头。对于光照度变化不明显的环境，常选用手动光圈镜头，即将光圈调到一个比较理想的数值后固定住。如果照度变化较大，应选用自动光圈镜头。在使用自动光圈镜头时，一般需要镜头配合摄像机的背光补偿功能来实现，采用宽动态范围的摄像头也有比较不错的效果。

①偏光镜，其是根据光线的偏振原理制造的镜片，用来排除和滤除光束中的直射光线，使光线能于正轨之透光轴投入眼睛视觉影像，使视野清晰自然。例如，通过使用偏光镜，可以减弱水面的反光，从而清晰的拍摄到水中的鱼。在拍摄这样的场景时，光源的投射角度与相机拍照的角度要趋近一致，并且其最大的偏折角度需介于30-40°之间。使用的时候可以通过慢慢转动滤镜前组的镜片来进行调整，力求把景物表面的反光降到最低程度。另外，偏光镜可以有效提高色彩的饱和度，提高反差，这是因为偏光镜可以吸收大气中雾气或灰尘反射出的各种方向的杂光，从而使拍摄出的影像更加纯净。

②滤光片，其是用来选取所需辐射波段的光学器件。滤光片的一个共性，就是没有任何滤光片能让天体的成像变得更明亮，因为所有的滤光片都会吸收某些波长，从而使物体变得更暗。例如你想要拍一朵黄花，背景是蓝天、绿叶，如果按照平常拍，就不能突出“黄花”这个主题，因为黄花的形象不够突出。但是，如果在镜头前放一个黄色滤光片，阻挡一部分绿叶散射出的绿光、蓝天散射出的蓝光，而让黄花散射出的黄光大量通过，这样，黄花就显得十分明显了，突出了“黄花”这个主题。

这里只介绍面阵相机的针孔相机模型的标定。
我接触过的相机镜头校正软件有：OpenCV、Matlab、Halcon三种，其都可以分为4个步骤：
①使用待校正相机镜头拍摄多幅不同位姿的标定板图像，
②标定板特征点亚像素精度提取，
③基于针孔相机模型的解析求解，
④基于非线性最优化的参数精炼。
步骤①三者之间没有差别。
关于拍摄用于标定的图像时的注意细节有：
<1>使用制造精度高的标定板（需要能从图案区分出标定板的长和宽）；
<2>保持相机不变，拍摄不同方向的棋盘图案；
<3>拍摄图像最少10张，最好能达到20张以上；
<3>所拍摄图像不能是模糊的；
<4>所拍摄图像不能包含相对于相机平面大于45°角的校准图案，如下图：

<5>在图像中标定板的大小要大于全视野的1/4并小于全视野，推荐使用2/3视野大小的标定板；
<6>拍摄的所有图像整体要覆盖相机的所有视野，包括四角、四边和中间；
<7>拍摄的所有图像中，校准图案在相对于相机的方向上有足够的变化。
在本文实验中，我分别使用标称制造精度±0.01mm的棋盘格和圆点阵的两种标定板各拍摄了21张不同位姿的图像：


步骤④三者之间没有差别。
步骤③主要是使用的针孔相机模型的差别，OpenCV和Matlab差别很小，OpenCV的相机内参数矩阵定义为：

Matlab的相机内参数矩阵定义为：

Matlab提供了一个传感器x轴和y轴相对偏斜的自由度s，而Halcon的相机内参数矩阵使用焦距f，像元缩放sx和sy，中心点坐标cx和cy来表示，将上述参数整理后形式与OpenCV的定义相同。fx = fsx，fy = fsy，其中f为镜头焦距，单位mm；sx和sy为每个像元的实际尺寸，转换为每mm对应多少个像素，单位pixel/mm。这里使用的是Basler acA1300-30gc，其像元尺寸为3.75μm，对应的sx=sy=266.67。
而关于镜头畸变的模型定义，三者都提供多项式畸变校正模型，只是OpenCV提供的自由度最大，3个径向畸变系数k1、k2、k3和2个切向畸变系数p1、p2都可以选择性配置；Matlab的自由度略小，相比OpenCV不能配置只使用k1的多项式模型；而Halcon的自由度最低，5个系数必须全部使用。但Halcon还提供了一个只用系数kappa表示的可进行解析求解的除法畸变模型。
步骤②是后面两个步骤的基础，Matlab（在2021版之后，而我用的是2019，不能提取圆点阵）可以提取棋盘格和圆点阵两种图案的特征点亚像素坐标；OpenCV也可以提取棋盘格和圆点阵两种图案的特征点亚像素坐标（cv.findChessboardCorners+cv.cornerSubPix以及cv.findCirclesGrid）；Halcon只可以提取圆点阵图案的特征点亚像素坐标。
进行3种软件的特征点亚像素提取精度实验：分别使用OpenCV提取两种图案的特征点的亚像素精度坐标，Matlab提取棋盘格、Halcon提取圆点阵。然后分别求每幅图像提取的特征点的X和Y坐标的均值（X和Y混在一起），然后将不同软件提取的特征值进行相减得：


可以看到，OpenCV的提取值X和Y坐标都比Matlab 小约1个像素；OpenCV的提取值X和Y坐标都比Halcon大约0.02个像素。
如上面所述，这是3种软件相机和标定的最大差别。
基于上述特征点提取结果，先在3种软件中，分别测试使用5畸变校正系数和1畸变校正系数（Matlab为2畸变校正系数）。多系数畸变校正模型的校正结果，相比于少系数畸变校正模型的改进很小，哪一种软件二者的校正后投影特征点的平均坐标偏差都小于0.005个像素。因此，在整理对比实验数据时只列出使用少系数畸变校正模型的标定结果。

可以看到最终投影平均误差最小的是：使用OpenCV算法+圆点阵+OpenCV提取特征点的算法。
这个结果可能跟很多博文中的比较结果都不一样，但这个结论其实不重要，主要是因为：使用的标定板、相机、镜头、拍摄标定图像时的相对位置、使用的图像数量都会对这个结论产生影响。
先排除能排除的影响：使用的图像数量。这里以OpenCV算法+圆点阵+OpenCV提取特征点的算法为例，分别使用图像数量从13-21张，来绘制投影平均误差的变化：

从上图可以看出：基本上超过20张图像，其平均误差就已经收敛，不会再有明显的下降改进；从13-21张的变化过程中，最大误差波动也才0.003个像素，对于上述所有算法，其对于最终平均误差指标的影响都小于0.003/0.049100%≈6%。所以可以确定，使用图像数量基本上不影响上述指标波动。
上面也说过，校正算法本身的影响很小，从上表数据也可以得到验证。
而对于剩下的使用的标定板、相机、镜头、拍摄标定图像时的相对位置这几个影响因素，我们是没有办法进行对比实验的。再加上在标定算法的最后一步，都会有一个非线性的精炼过程，其是数值最优的（严格依赖于数据），但不一定是真实的。也就是说，这个步骤会导致即使使用的标定板、相机、镜头全部相同，仅是由于使用了不同的标定图像，就会造成最终的平均误差的波动，所以我们也没有必要太过关注于平均误差的绝对值。
但在实际使用中，我们还是需要从上述各种算法中选择一种，来获得最优的相机镜头校正结果，所以还是需要对上述算法进行量化比较。这里我以如下准则来进行评价：由于我们知道相机和镜头属于工业制品，且大品牌的高质量产品是有严格的品控的（其会在出厂前进行抽检和全检），所以我们一般用到的相机和镜头，通过合理的安装和使用，其相机和镜头应该是非常接近同轴对心的，所以其相机参数cx和cy应该非常接近图像的中点（这是由制造保证的，完全不依赖于算法），那么相机标定的cx和cy参数如果越接近图像的中点，那么其就应该越接近相机和镜头的真实情况。
通过上述准则，我们就可以确定如何选择相机标定算法了。这里的图像中心是640和480，所以依然是使用OpenCV算法+圆点阵+OpenCV提取特征点的算法最佳。从算法层面分析，这主要归功于使用边缘轮廓+矩估计所提取的圆点阵的特征点坐标，具有最好的透视变换还原性。
另外，在Janne Heikkila and Olli Silven的 《A Four-step Camera Calibration Procedure with Implicit Image Correction》中，其说明相机标定算法能达到的理论精度为＜0.01pixel，但由于在实际操作中存在各种无法消除的误差，会导致真实误差要远大于理论精度。所以如果我们的最终标定误差<0.01乘以10=0.1个像素，都是完全可以接收的好的结果。还要将上述标定误差从像素换算到实际长度单位（这里是25/420.049≈0.03mm），其应该大于标定板的制造误差（这里是0.01mm），否则即使投影平均误差再低，也是没有意义的。
基于以上分析，在实际进行相机镜头标定时，为追求高精度，应在完全模拟真实使用的场景下（即相机光圈、焦距、镜头、工作距离、曝光时间都尽可能接近真实使用值），然后使用圆点阵标定板，按照上述标定用图像注意事项，采集超过20张标定图像，最后进行亚像素级的相机镜头标定。这样获得的结果不一定是真实的，但由于其高度的数据相似性，会使其在实际使用中，获得更小的标定后校正误差。

附上使用OpenCV+圆点阵校正的Python代码如下：

dirs = "D:\circles"fns = os.listdir(dirs)fns = [os.path.join(dirs,k) for k in fns]CHECKERBOARD = (7,7)objpoints = []imgpoints = []objp = np.zeros((1, CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32)objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)objp = objp * 25 # 得到真实世界坐标for fname in fns:    img = cv2.imread(fname)    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)    ret, corners = cv2.findCirclesGrid(gray, CHECKERBOARD) # 直接得到浮点数    if ret == True:        objpoints.append(objp)        imgpoints.append(corners)flag = cv2.CALIB_ZERO_TANGENT_DIST | cv2.CALIB_FIX_K2 | cv2.CALIB_FIX_K3 # 只使用k1畸变系数ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None, flags=flag)

以上就是关于工业镜头要讲的内容，欢迎大家对本文章进行补充和指正。

《Halcon机器视觉算法原理与编程实战》，北京大学出版社
《机器视觉算法与应用》，清华大学出版社
《海康机器视觉认证工程师官方资料》
《Handbook of Machine and Computer Vision——The Guide for Developers and Users》，Alexander Hornberg，Wiley
OpenCV官方文档，https://opencv.org/
Matlab官方文档，https://ww2.mathworks.cn/help/vision/ug/evaluating-the-accuracy-of-single-camera-calibration.html
Halcon官方文档，https://www.mvtec.com/doc/halcon/12/en/calibrate_cameras.html
https://learnopencv.com/understanding-lens-distortion/