详解3D结构光如何标定

结构光视觉的优点：

非接触、信息量大、测量精度高、抗干扰能力强。

结构光视觉传感器参数的校准包括：相机参数校准、结构光平面参数校准。

结构光视测量原理图

我们不考虑镜头的畸变，将相机的成像模型简化为小孔成像模型Pf 与其在相机坐标系下的三维坐标相比P 关系可以表示为：

其中：（u,v）图像坐标是特征点，（u0,v0）图像坐标在光轴中心，（kx ky ）是X 轴，Y 轴向放大系数，（xc yc zc）相机坐标系下的坐标是特征点， Mc 是摄像机中的参数矩阵。

结构光视觉投影成像模型：

摄像头坐标系中设置结构光的平面方程为：

在相机坐标系下，可以根据激光条纹特征的图像坐标获得三维坐标

相机参数标定：

采用张正友提出的基于2D平面棋盘格的摄像机标定方法，利用Matlab相机参数的工具完成相机参数校准。

相机校准工具箱主窗：

用于相机校准的棋盘格图像：

在相机中获得参数矩阵：

结构光平面参数标定：

首先，激光投射结构光平面在平面棋盘格上形成激光条纹CCD 相机采集激光条纹图像。然后处理图像，提取激光条纹上的两个特征。控制机器人按照一定的约束运动，从一个标定的位置移动到另一个位置，从而产生两条不共线的激光条纹。激光条纹上的两个特征点采用上述相同的图像处理方法再次提取。结构光平面方程参数由结构光平面上的四个点决定。该方法可在相机参数校准过程中完成结构光平面方程参数校准。同时，该方法不需要加工高精度的三维校准目标，也不需要手动测量，校准过程简单实用。

试验装备：

六自由度机器人，一个CCD 工业摄像头，激光器和平面棋盘目标。

结构光平面参数标定系统示意图：

相机坐标系位于相机的中心，而世界坐标系位于平面棋盘格的目标上。相机坐标系下坐标与世界坐标系下坐标之间的对应关系可以用以下公式表达：

标定过程如下：

(1)图像获取:

在摄像机参数校准过程中同时获取图像。首先把棋盘格放在工作台上， 在这个初始位置，用相机收集图片，如图所示 (a) 所示 。保持相机和棋盘格的位置不变，打开激光器，让条纹投射到棋盘格上， 再收集图像如图 (b) 所示：

然后改变棋盘格和相机的相对位置，使前后形成的两条激光条纹在空间上不共线，从而确定唯一的结构光平面。

(2)图像处理:

图像处理的目的是提取激光条纹上特征点的图像坐标。

分为图像感兴趣区域（ROI）确定、自适应阈值分割、骨架细化和特征点计算。

1）图像ROI确定

通过观察图像，激光条纹与图像大致平行u 激光条纹处像素的灰度值高于图像中其他像素的灰度值ROI 通过对每行像素灰度值的求和获得：

2）阈值分割

阈值分为全局阈值分割、局部阈值分割和自适应阈值分割。最常用的自适应阈值分割是Otsu该方法采用统计方法确定最佳阈值，适用于一般图像，但不适用于棋盘格上激光条纹的分割。

根据图像中激光条纹的灰度值高于图像中其他像素的灰度值和激光条纹所在区域集中的特点，利用图像ROI 计算激光条纹的自适应阈值之和：

3) 骨架细化:

激光条纹在自适应阈值分割后具有一定的宽度，直接处理计算量大，精度低，需要对图像进行骨架细化，获得单像素线。

采用下面文献中所提出的快速骨架细化方法：

该方法通过迭代提取图像骨架。每个迭代过程分为两个步骤。第一步是去除东南边缘和西北角，第二步是去除西北边缘和东南角。

Pi分布如下：

上述条件将在第二次迭代过程中进行。c、d条件变更为：

4)特征提取:

选择激光条纹中心线上的两点作为激光条纹的特征点。为了提高激光条纹中心线的提取精度，细化的激光条纹直线采用最小二乘法拟合法处理。

激光条纹特征点提取过程如下：

任何棋盘格平面中的任何一点与法向量关系

从上图可以看出：

图像坐标由特征点组成Pf 与其在相机坐标系下的三维坐标相比P 关系知识：

在相机坐标系下得到棋盘格上的任何一点zc 坐标

在相机坐标系下获得激光条纹特征的坐标值

到目前为止，在相机坐标系下获得四个激光条纹特征点的图像坐标，由于三点确定一个平面方程，最小两乘法计算结构光平面方程如下：

到目前为止，结构光平面方程面方程参数的校准。

来源：马少爷，版权归作者所有。

编辑：act视觉系统设计

参考文献：基于结构光视觉的焊缝识别与跟踪技术研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2019.

本文仅进行学术分享。如有侵权行为，请联系删除。

3D推荐视觉精品课程：

1.自动驾驶领域的多传感器数据集成技术

2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)
3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进
4.中国第一门面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释
6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化
8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)

9.从零开始建造一套结构光3D重建系统[理论 源码 实践]

10.单目深度估计方法:算法梳理和代码实现

重磅！3DCVer-提交学术论文写作交流群已成立

扫码添加小助手微信，可申请加入3D视觉研讨会-学术论文写作和提交微信交流群旨在交流顶会、顶刊、SCI、EI等待写作和提交。

同时也可以申请加入我们的细分交流群。目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶，多传感器集成，CV入门，三维测量，VR/AR、3D人脸识别、医学影像、缺陷检测、行人重识别、目标跟踪、视觉产品着陆、视觉竞赛、车牌识别、硬件选择、学术交流、求职交流、ORB-SLAM系列源码交流，深度估计等微信群。

注：研究方向 学校/公司 昵称，例如：”3D视觉 上海交大 安静。请按格式备注，可快速通过并邀请进入群。原创投稿也请联系。

▲长按微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~