工业视觉检测—制造过程中的缺陷和异常检测

点击上方“3D视觉车间，选择星标

第一时间送达干货

作者丨DOROTA OWCZAREK

新机器视觉的来源

本文内容要点：

• 传统的生产线检验

• 基于人工智能的计算机视觉能否检测缺陷并识别异常？

• 将机器学习应用于质量检验-行业案例

• 视觉检测系统和定制机器学习模型

• 制造业基于人工智能的视觉异常检测的优势

• 未来高效制造和高级深度学习异常检测模型

在工业生产中，缺陷和异常检测对保证质量标准至关重要。在许多情况下，人工质量检验习惯于在产品离线时进行检验。然而，随着机器学习和人工智能的出现，自定义模型现在可以用来检测产品中的缺陷和异常。本文将讨论机器学习在视觉检测中的应用，并讨论其对制造商的一些好处。我们将研究不同行业的实际应用，了解为什么基于人工智能的视觉异常检测在现代制造设备中越来越受欢迎。

传统的生产线检验

自工业时代以来，制造商一直在使用不同的技术来监控装配线上的工艺和产品质量。早期的产品质量检验主要靠人工完成。然而，随着制造业规模化和工业自动化的发展，在生产线上监测质量和检测自然变得越来越困难。质检人员难以处理大量产品，个人主观性容易影响检测结果。此外，任务的单调性和重复性会导致疲劳，增加出错的可能性。

异常检测自动化介绍

自动化是制造商的说是一个突破，他们可以在不影响质量标准的情况下大幅增加产量。目前的技术水平可以在大多数生产过程中实现自动化，包括缺陷和异常检测等最容易出错的任务。科技开发人员正常改变传统规则，用灵活、自学、自我完善的方法取代程序化、适应性差的方法。

计算机视觉和机器学习辅助异常检测

传统的视觉检测有许多局限性——最大的局限性是反应相对缓慢。一旦机器检测到异常或缺陷，它可以触发自动反馈，这些操作必须在没有人工智能的情况下手动执行。在制造过程中，每一秒都很重要，适得其反。例如，在制药行业，一个相对较小的问题可能会影响整个批次，造成巨大的损失。

此外，质量保证的一致性。有了自动化工具，系统中将保留所有关于缺陷和异常的数据。机器可以得出结论，并不断提高其检测能力。在传统的缺陷和异常检测方法中，随着任何人员的变化，质量检测的有效性可能会显著降低，并增加成本。

基于人工智能的计算机视觉可以解决这些问题，提高质量控制和质量保证。

基于人工智能的计算机视觉能否检测缺陷并识别异常？

人工智能模仿人类行为——作为其分支，计算机视觉再现了人类解读图像的能力。该技术借鉴了人类视觉系统的复杂性，模仿其处理视觉信息的方法。虽然几百年前拍摄图像的谜团被解开了(随着相机的发明而被封存)，但图像解释一直是一个困难的部分。有了人工智能，这一切都是可能的。

人类视觉过程

在计算机视觉的情况下，眼睛被传感设备和视觉皮层所取代——由机器学习算法驱动的解释设备。深度学习模型可以通过使用大型图像数据集进行释给定图像的内容。该机制用于制造缺陷和异常检测。

基于人工智能的计算机视觉可用于异常和缺陷检测

深度学习模型以满足所有质量要求的完美产品的图像样本为样本，形成自己的逻辑，学习识别不同类型的缺陷。设备捕获的图像将根据其进行评估，如果不匹配，则立即标记缺陷。开发人员可以使用不同的方法创建生成性异常检测算法，如贝叶斯网络和递归神经网络（RNN）、卷积神经网络（CNN）、GAN或变分自动编码器。

在最常见的情况下，该算法将产品分类为缺陷或无缺陷。该模型还可以根据缺陷的严重程度、类型或状态进行监督和学习训练。这使我们能够创建更复杂的自动触发反应机制，并收集详细的数据。

将机器学习应用于质量检测-行业用例

竞争日益激烈的创业环境使制造商不断提高产品质量，基于人工智能的自动化工具可以在此过程中提供有价值的支持。通过计算机视觉，他们可以更有效地评估产品质量，而无需雇佣额外的劳动力。

以下应用案例证明了该技术的多功能性。让我们更仔细地看看跨行业的缺陷和异常检测应用案例。

生命科学制药和视觉检测

细胞系的交叉污染是制药和科学实验室每天面临的最常见的风险之一。有时，只要一滴管意外重复使用，就会发生污染。它们可能对实验室研究产生负面影响，甚至使药物无法使用，这可能是昂贵的。

保持质量标准和培训，制药公司可以降低交叉污染的可能性，但它仍然可以发生——图像处理和深度学习可以帮助在早期识别交叉污染。深层神经网络可以检测细胞的微小形态变化，保护制药公司和实验室的结果不被掺假。例如，来自ATM(翻译医学年鉴)案例研究证明，神经网络(尤其是BCNN）能达到近100%的细胞系识别精度。

对于生物技术公司来说，检测和检查用于监测细胞培养、识别交叉污染和跟踪形态变化。深度学习模型可以在人眼（显微镜）不可见的阶段检测到这些变化，以便及时采取预防措施，避免成本高的失败风险。ML为了帮助客户提高研究效率，软件分析细胞图像，并提供有价值的报告。

视觉检查也有助于制药公司控制包装。制药公司必须遵守其药品容器的严格规范和规定。大多数产品需要密封和使用特定材料。同时，包装上的任何缺陷都会影响药物的效率和保质期。有了计算机视觉，这些问题可以在早期发现。

半导体制造过程中的缺陷检测

视觉检测可以帮助各行业的公司关注产品本身的质量和产品的状态。它们可以使用图像处理来监控半导体制造过程，如清洁、膜沉积、蚀刻、曝光、注入、耐腐蚀涂层、杂质注入或热处理。该模型可以检测晶圆层的异常情况，并自动化预放置检查等过程。

规则是相同的——基于深度学习算法的视觉检测系统将在每个半导体过程完成后通过高质量产品的图像进行训练，并学会识别缺陷。在这种情况下，良好的图像处理设备非常重要，因为缺陷可能很难检测到。

半导体和芯片制造中的缺陷检测结果(摘自《自然》杂志)

电子产品制造商的质量保证

在电子制造业中，视觉检查的能力尤其惊人。训练有素的模型甚至可以检测到肉眼几乎看不见的小缺陷。利用深度学习技术发现微芯片、变压器、显示器CPU其他制造部件的潜在异常——包括许多非常小的部件。

为了保持成像的非破坏性，电子制造商倾向于从CT扫描中提取有关缺陷的信息。使用x射线断层扫描，它们可以生成制造元件的射线投影。图像由算法转换为三维表示。

由于元素的复杂性，制造商有必要将分析范围缩小到易受缺陷或损坏的零件。否则，适当培训深度学习网络进行缺陷/异常检测将是一个挑战。

化学品生产中的视觉检测

虽然乍一看，视觉检查似乎不是评估化学品制造质量的最佳方法，但事实证明它们是有效的。在典型的化学生产中，样品将被送到实验室进行手动测试。这个过程既不高效也不准确，因为少数样品可能不代表整批的质量。同时，在化工生产线上测试每一种产品远不划算。

制造商可以使用计算机视觉以更快、更方便的方式评估其质量。视觉质量检验机制与固体物体相似——模型采用符合质量标准的化学产品图像进行培训，并对装配线上的产品进行相应分类。根据物质的颜色、分层或物理状态，计算机视觉可以检测到异常。若产品已被氧化，则可自动将其与生产线分离，或从生产线重新定位。

虽然这种方法有一些局限性，但化学品中的一些缺陷是无法检测到的。然而，视觉检查可以为化学品制造商采用的质量保证系统增加参考价值。

视觉检测系统和定制机器学习模型

虽然市场上有很多视觉检测系统，但许多公司仍然决定坚持使用定制的机器学习模型。原因很简单——因为标准视觉解决方案为了适应不同行业的需求，会导致一些行业差异大的产品检测弊端。

即使在一定程度上是灵活的，也不能保证不同行业的个性化检测需求。例如，用户可能无法使用自己的培训数据培训系统，并被迫使用内置数据库。如果他们的产品及其功能是独特的，那么这种解决方案可能不足以满足严格的异常检测需求。

选择开发定制的机器学习模型，公司可根据任务的具体情况(以上细胞系检查为例，BCNN已被证明能够提供最准确的结果）。使用自己的模型，他们也可以提取感兴趣的区域来提高准确性，而标准系统通常不提供这种可能性。因此，选择定制异常检测模型而不是标准解决方案的人通常会得到更令人满意的结果。

制造业基于人工智能的视觉异常检测的优势

人工智能正在以各种方式彻底改变制造业，带来许多好处。制造商可以通过基于人工智能的视觉检测来降低运营成本：

通过预测性维护防止停机

减少劳动力需求

卸下质检员的重担，把他们委派给要求更高的任务

减少退货和投诉的数量

同时，他们可以提高客户满意度，提高公司的声誉。交付市场的缺陷产品越少，满意度就越高。

高效制造和高级深度学习异常检测模型的未来

在质量保证中，基于深度学习的异常检测方法的广泛采用是不可避免的。市场上日益激烈的竞争，以及满足消费者期望的需求，将迫使制造商寻找优化生产线的新方法。将机器学习算法应用于视觉检测任务就是其中之一，这一举措可以为大公司节省数大量成本，并提高生产过程的效率。

异常检测无疑将塑造许多行业的未来，使我们的生活更轻松、更健康。毕竟谁不想收到一个经过全面质量检查的产品呢？

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~