工业相机标定相关知识整理

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达  本文转自 | 新机器视觉 内参和外参标定在相机上   

在图像测量过程和机器视觉应用中，三维几何位置与图像中对应点之间的关系，以确定空间物体表面的某一点，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数情况下，这些参数必须通过实验和计算来获得，这求解参数的过程称为相机校准（或相机校准）。无论是在图像测量还是机器视觉应用中，相机参数的校准都是一个非常关键的环节。校准结果的精度和算法的稳定性直接影响到相机工作结果的准确性。后续工作的前提是做好相机校准，提高校准精度。

相机校准中确定的几何模型参数分为内部参数和外部参数。相机内部参数的作用是确定从三维空间到二维图像的投影关系。相机外部参数的作用是确定相机坐标与世界坐标系之间的相对位置关系。

相机共有6个参数（f,κ,Sx,Sy,Cx,Cy)，其中：

f为焦距；

κ如果径向畸变量级表示，κ为负值，畸变为桶形畸变，如为正值，则为枕形畸变。

Sx,Sy是缩放比例因子。一般来说，相机成像单元不是严格的矩形，其水平和垂直方向的尺寸不一致，导致X和Y缩放因子方向不同，需要分别定义两个缩放因子。对于针孔摄像头，表示图像传感器水平与垂直相邻像素之间的距离；

Cx,Cy它是图像的主要点，即通过镜头轴垂直于成像平面和图像平面的交点。对于针孔摄像机，这一点是投影中心在成像平面上的垂直投影，也是径向畸变的中心 。

摄像机外参共6个参数（α,β,γ,Tx,Ty,Tz），相机坐标与世界坐标的关系可以表达为：

Pc= RPw T

其中Pw为世界坐标，Pc是相机坐标。式中，T= (Tx,Ty,Tz)，是平移向量，R =R(α,β,γ)它是一个旋转矩阵，分别是着相机坐标系z轴旋转角度γ，绕y轴旋转角度为β，绕x轴旋转角度为α。6个参数组成（α,β,γ,Tx,Ty,Tz)摄像机外参。

通常，通过镜头，三维空间中的物体会被映射成倒立缩小的图像，然后被成像传感器感知。

●理想情况下，镜头的光轴（就是通过镜头中心垂直于传感器平面的直线）应该是穿过图像的正中间的，但是，实际由于安装精度的问题，总是存在误差，即光轴偏移，这种误差需要用内参来描述；

●理想情况下，相机对x方向和y方向的缩小比相同，但事实上，如果镜头不是完美的圆，如果传感器上的像素不是完美的正方形，这两个方向的缩小比可能不一致。内部参数包含两个参数，可以描述这两个方向的缩放比。它不仅可以将用像素数量测量的长度转换为用其他单位（如米）在三维空间中测量的长度，还可以表示在x和y方向尺度变化的不一致性；

●理想情况下，镜头会将三维空间中的直线映射成直线（即射影变换），但事实上，镜头并不完美。镜头映射后，直线会弯曲，因此需要相机的畸变参数来描述这种变形效果。以下三种畸变是枕头畸变、桶形畸变和线性畸变。

相机标定的方法

相机校准方法有：传统的相机校准方法、相机自校准方法、主动视觉相机校准方法。

传统的相机校准方法需要使用已知尺寸的校准对象，通过在校准对象上建立已知的坐标点和图像点之间的对应，使用一定的算法来获得相机模型的内外参数。根据标定物的不同，可分为三维标定物和平面标定物。单幅图像可以标定三维标定物，标定精度高，但高精度三维标定物的加工和维护难度大。平面标定物比三维标定物制作简单，精度容易保证，但必须使用两幅或两幅以上的图像进行标定。在校准过程中，传统的相机校准方法总是需要校准，校准的生产精度会影响校准结果。同时，有些场合不适合放置标定物，也限制了传统相机标定法的应用。

传统相机校准方法的优点是可用于任何相机模型，校准精度高，缺点是校准过程复杂，需要高精度校准模板，在某些情况下不能使用校准块。

目前出现的自标定算法中主要是利用相机运动的约束。相机的运动约束太强，实际上不实用。场景约束主要用于场景中的一些平行或正交信息。空间平行线在相机图像平面上的交点称为消失点，是射影几何的一个非常重要的特征，因此许多学者研究了基于消失点的相机自校准方法。自校准方法灵活性强，可在线校准相机。但由于是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。仅依靠多个图像之间的对应关系进行校准，其优点是只需要建立图像之间的对应性，灵活性强，潜在应用范围广，缺点是非线性校准，鲁棒不高。

基于主动视觉的相机标定法是指已知相机的一些运动信息来校准相机。该方法不需要校准，但需要控制相机来做一些特殊的运动，并利用该运动的特殊性来计算相机的内部参数。基于主动视觉的相机校准方法的优点是算法简单，通常可以获得线性解决方案，因此鲁棒性高，缺点是系统成本高，实验设备昂贵，实验条件要求高，不适合运动参数位置或无法控制的场合。

应用主动视觉相机校准方法的前提是已知相机的一些运动信息。其优点是可以线性解决，具有良好的鲁棒性。缺点是不能使用未知和无法控制相机运动的场合。

标定模板

标定模板(标定板) Calibration Target） 在机器视觉、图像测量、摄影测量、三维重建等应用中，校正镜头畸变；确定物理尺寸和像素之间的转换关系，确定图像中对应点的三维几何位置，建立相机成像的几何模型。相机的几何模型可以通过拍摄具有固定间距图案阵列平板和标定算法的计算得到高精度的测量和重建。带有固定间距图案阵列的平板是标定模板(标定板) Calibration Target）。

常见的标定模板类型

1)等距实心圆阵列图案 Ti-times CG-100-D

2)国际象棋盘图案 Ti-times CG-076-T

一般需要20张图片，这只是一个经验值，其实太多也不好，太少也不好。从统计上看，越多越好，但实际上太多的图片可能会使参数优化结果恶化，因为棋盘角坐标误差，误差难以说符合高斯分布，同时，校准过程中使用的非线性迭代优化算法不能保证总是最优化，更多的图片，可能会增加算法进入局部最优化的可能性。

拍照时标定板的位置和方向的多样性会使内参的估计更加准确。准确的内部参数可以更好地纠正整个图像的畸变，但如果给定的校准板的位置太单一，如图像的左上角，那么优化的内部参数地纠正图像左上角的畸变。建议找一个大畸变镜头做实验，会更生动。·

世界坐标系、相机坐标系、图像坐标系

世界坐标系（Xw、Yw、Zw）

它是用户定义的空间三维坐标系，用于描述物体与相机之间的坐标位置，以满足右手法则。世界坐标系是物理世界中反映物体位置的真实坐标。

相机坐标系（Xc、Yc、Zc）

以相机光心为原点，Zc轴与光轴重合，垂直于成像平面，取摄影方向正方向，Xc、Yc轴与图像物理坐标系的x、y轴平行。

图像坐标系（u、v）或（x、y）

是以图像的左上角为原点的图像坐标系（u，v），以像素为单位，

张正友标定法

通过在图像上一个二维点m=[u,t]后加上一个1的向量，在相机坐标系中一个3D点M=[X,Y,Z]后也加上一个1的向量，在针孔模型中，3D点M和它的图像投影m的关系为：

其中内参A为：

若定义H=A[R,t]，有s*m=H*M,则H就是通常说的单应性矩阵，在这里描述的是空间中平面三维点和相机平面二维点之间的关系，相机平面中的坐标点可以通过图像处理寻找角点的方式获取，空间平面三维点可以通过尺寸已知的标定板获取，所以说针对每张图图片都可以计算出来一个对应的H矩阵。

转动标定模板，从不同的角度拍摄棋盘标定模板的n幅图像，求出内参矩阵和外参矩阵，就有了相机坐标和图像坐标的投射矩阵，就可以将空间中的某一点映射到图片上的某一个点上：

张正友相机标定流程

1. 打印棋盘标定纸，附加到一个平坦的表面上；

2. 通过移动相机或者平面拍摄标定板各种角度的图片，一般拍摄20张；

3. 检测图片中的特征点；

4. 计算5个内部参数和所有的外部参数；

5. 通过最小二乘法先行求解径向畸变系数；

6. 通过求最小参数值，优化所有参数；

张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法，它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合通用的桌面视觉系统(DVS)的标定要求。该方法的缺点是确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，专业性要求比较高。

转载自：https://blog.csdn.net/dcrmg/article/details/52880508

 End 

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~