工业视觉的关键技术有哪些？

以下是关于工业视觉关键技术的介绍，如果有兴趣了解更多相关的内容，请下载原报告阅读。

1.采集技术

相机作为工业领域主要的图像采集设备，是将光信号转换成电信号，并通过 规定接口发送至接收端以提供清晰、准确的高清图像的一体式设备，是工业机器 视觉中的关键组件之一。根据标准不同，传统工业相机主要分类方式如下： 1）根据芯片类型分为 CMOS 和 CCD 两种相机。由于集成 电路技术的限制，早期 CMOS 相机噪声大、灵敏度差、分辨率低，在成像 效果上明显差于 CCD，故其后的几十年内主流图像传感器技术以 CCD 为 发展方向。近年来，随着集成电路技术的迅猛发展、工艺水平不断提高， CMOS 相机的诸多缺点已得到大幅改进，而其集成度高、价格低廉等固有 优点使得 CMOS 相机成为主流。

2）根据像素排列方式可分为线阵相机和面阵相机。面阵相机使用像素矩阵 进行光学采集，并将采集的信息转换为完整的二维图像信息，目前大多 数场景的图像采集以面阵相机为主。线阵相机将像素矩阵的长度增加， 宽度缩减至几个像素，使像素矩阵呈现“线状”，通过扫描和运动完成 图像信息的采集，并在软件端将拍摄的图像进行拼接。其适用于曲面物 体、狭长物体的表面图像采集，可实现如传送带、滚筒之类产品的表面 瑕疵检测。TDI(Time Delayed and Integration)线阵相机是一种具有一种面阵结构、线阵输出的新型光电传感器相机，相较普通的线阵相机具 有多重级数延时积分的功能，可以对同一目标多次曝光以增加对光能的 收集，具备更高的灵敏度、响应度、和动态范围等优点，在低光照度环 镜下也能输出一定强度信噪比的信号。

3）根据色彩类型可分为单色（黑白）相机和彩色相机。单色相机可收集更 加完整的图像信息，图像质量优于彩色相机。彩色相机在色彩呈现过程 中，因算法无法精准还原色彩信息会出现伪彩色、摩尔纹等图像缺陷， 而低通滤镜在抑制上述缺陷时会损失图像的锐度和立体感。在彩色相机 图像质量技术提升方面，富士公司“X-TRANS CMOS”采用不规则阵列以 去除低通滤镜，适马“Foveon X3”技术采用单像素三层感光元件记录信 息。

4）根据分辨率大小可以分为普通分辨率相机和高分辨率相机。高分辨率相 机要求相机输出图像分辨率在 1280*720（720p）以上，最新的超高清相 机则要求分辨率高于 3840*2160（4k），是继标清、高清后的新一代图像 采集技术，具有清晰度高、色彩还原性好、性能稳定等特点。为了提高 产品的检测精度，工业领域低数据量图像采集正向高数据量图像采集转 变，超高清相机的使用范围也在逐步扩张。超高清相机目前以面阵 CMOS 相机为主，可适用于手机面板和 PCB 板等具有固定视野面积的产品检测。 此外，工业相机还可以根据扫描方式分为隔行扫描相机和逐行扫描相机，根 据输出信号速度分为普通速度相机和高速相机，根据响应频率范围分为可见光 （普通）相机、红外相机、紫外相机和 X 射线相机等。

随着 3D 成像技术的日趋成熟，3D 相机在工业领域的应用越发广泛。3D 相机 能够精准获取物体三维信息，包含更加精细且全面的图像信息，受到环境光线等 噪声的影响较小，使应用系统鲁棒性更好。目前，3D 成像技术主要应用于室内工 业场景的产品质检、物体测量、机械臂的引导等任务。2022 年 2 月，梅卡曼德推 出新一代 Mech-Eye Laser 工业级激光 3D 相机，其在性能、精度以及扫描速度上 都有了很大提升。该产品可应用于大范围工件上料、引导定位等典型场景，可满足工业生产环境对于视野、精度、扫描速度等方面的需求。SIGAI 发布的全球首 款室外全场景、高精度(毫米级)、高分辨率、低成本双目立体 3D 相机 Tensor 1 Pro 适用场景更广泛，可实现物体测量、机械臂引导、工业质检、工业测量等功 能。未来十年，3D 机器视觉在工业制造领域占据的分量将越来越重，视觉感知交 互能力将成为智能终端的核心底层能力，随着工业 3D 视觉技术的崛起和柔性制 造的客观需求，工业视觉将是基于 3D 机器视觉的控制与 AI 认知系统结合。

2.处理技术

工业视觉处理技术是工业视觉领域转型升级的动力，是企业数字化转型、智 能化升级的关键因素，主要涉及算力硬件、机器学习算法及智能边缘平台。随着 工业互联网数据量的持续增加以及数据处理需求的多样化，基于云端的大数据处 理面临着实时性、安全性、低带宽、低成本等多方面的挑战，推动了边缘计算及 平台的快速发展。智能边缘计算平台可通过云端协同平台对边缘算法、应用、数 据、系统、设备、终端进行集中管理，帮助企业用户提升运营水平，增强生产系 统弹性，获得更高的成本效益。由于边缘设备的算力、存储和网络通信等硬件条 件相对受限，在边缘端直接进行机器学习算法的部署与推理较为困难，因此在边 缘计算的场景下针对通用机器学习算法的优化研究同样具有重要的意义。

2.1 工业视觉智能边缘平台

边缘计算是现代工业计算领域的重要进步。边缘计算产业联盟（ECC）将边 缘计算定义为：在靠近物或数据源头网络的边缘侧，融合网络、计算、存储、应 用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷 链接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。随 着各类传感器、超高清摄像头、智能机器人在工业制造中被大量使用，工业数据 资源总量呈现爆炸性增长，数据作为工业发展的重要引擎，其安全性和实时性尤 为重要。工业视觉智能边缘平台融合工厂内部本地网络设备、算力设备、存储设 备，与云端协同进行大数据存储、算法训练，无需通过企业核心网即可直接处理本地边缘数据，可以很好地满足现代工业智能制造所需的低延时、高带宽、大连 接、高隐私等特性。工业视觉智能边缘平台既可以充分利用云计算技术来实现工 业视觉能力的共享，提供统一监控与运维能力，同时可以借助边缘计算技术，在 靠近产线的边缘处对视频进行实时分析，实现与业务的联动与闭环。 目前的工业视觉智能边缘平台主要分为开源框架与商业产品。其中 Linux 基 金会为边缘计算发展发起的开源项目 LFEdge，包括 Akraino Edge Stack 和 Edge X Foundry 等项目，具有较大的市场影响。ONF 基金会、华为、阿里巴巴、百度 等分别宣布将 CORD、KubeEdge、OpenYurt、OpenEdge 等边缘计算平台开源，这 些平台依赖各自的领域优势也都有较为完善的应用生态发展。

2.1.1 星辰视界视频云边智能平台

中国移动星辰视界视频边缘智能平台基于云原生技术构建， 可以运行在多种边缘设备上，将视频机器学习的多种智能应用以轻量化的方式从 云端部署到边缘，满足多种场景下视频边缘智能化服务需求。面向工业视觉可以 提供完整的视频边缘智能解决方案，采用“中心+边缘”的分级架构，将云端视 频、视频质检等的能力以及第三方平台的视觉能力下沉至边缘侧和端侧，满足数 据不出园区、低成本、灵活部署、边端轻量化能力定制等应用需求。

针对工业视觉行业在不同场景下对资源、监管、运维等多方面的不同诉求， 如图 2.2，星辰视界边缘智能平台面向工业场景提供三种部署模式： 1）全托管模式：视频边缘智能管理平台和边缘节点分别部署在移动云和移 动边缘云，用户无需管理任何实体服务器资源。 2）云入驻模式：视频边缘智能平台部署在移动云，而边缘节点由用户自己 管理，其可以是位于 IDC 中的服务器资源，也可以是用户购买的第三方 云平台中的服务器资源，只要这些服务器可以和管理平台网络连通即可。 3） 全入驻模式：智能视频边缘管理平台和边缘节点都部署在用户自己 的基础设施中。

星辰视界视频边缘智能平台可以灵活加载丰富的边缘智能算法，通过云边结 合，降低云端计算成本，缩短响应时间，减少从终端设备到云端的数据流量，降 低带宽成本。同时作为基于边缘计算的工业视觉平台，具有安全性高、运维成本低、兼容性强等优点

2.1.2 研华工业云平台

研华 WISE-IoTSuite 工业互联网平台（图 2.3）将工业互联网平台能力下沉 到边缘端，以融合网络、计算、存储和应用核心能力的分布式开放架构，为工业 现场就近提供基于云原生的边缘计算智能服务，满足行业数字化在敏捷联接、实 时业务、数据优化、应用智能、安全与隐私保护等方面的关键诉求。

WISE-IoTSuite 平台端侧可对接各种终端设备和各类系统的数据，包括如数 控机床、SMT 贴片机、晶圆清洗机在内的各类工业设备，高清摄像头等视频设备， 以及上位机、ERP 系统、MES 系统等各类系统数据。 终端设备之上的边缘网关，可以用于数据的接入、设备管理、设备反向控制 等，也可以搭配可视化工具。此外，边缘网关即可实现监控可视化和告警通知功 能，以满足小场域的需求。如果边缘网关较多，数据量大，可在边缘网关与中心 平台之间加一层边缘计算平台，南向进行数据采集、反向控制以及网关的管理， 北向与云平台对接实现云边协同。

边缘计算平台除了提供数据接入、设备管理、系统远程运维、设备预兆诊断、 可视化等基本功能外，还可以结合机器学习提供智能分析能力，支持第三方算法 对接和算法可持续更替。对于终端的设备或网关，平台提供远程运维能力，可远程管理边缘网关和终端设备。边缘计算平台也支持离线自治，在边缘侧与云端网 络不稳定或弱网断网情况下实现业务本地自治，待网络通信恢复后，再将数据同 步到云端。 边缘计算平台之上是实现企业集中管理的 IoTSuite 工业互联网平台，可提 供包括设备物联、数据存储、大数据分析、人工智能、视频管理、协同管理、以 及资源管理等功能，与其下的边缘计算平台实现资源、服务、应用的协同。

2.2 机器视觉算法

工业视觉技术路线方向正由传统的简单工业视觉算法向基于深度学习的机 器视觉转变。传统的工业视觉算法基于手动选取的特征，往往泛化能力较弱，受 环境噪声影响较大，在面对随机性较强，特征提取复杂的工业产品检测场景下， 难以满足任务在精度和通用性方面的需求。 工业场景下基于深度学习的算法任务主要包括对工业设备、作业人员和制造 环境中的特定物体与人的识别分类，检测定位与目标分割。通用视觉算法大多基 于深度神经网络来实现，具有复杂的网络结构和庞大的计算量和数据量，但工业 场景下受限于边缘设备的算力、存储和网络通信等硬件条件，在边缘端直接进行 视觉算法的部署与推理较为困难。因此，对于工业视觉算法优化研究具有重要的 意义。

视觉算法在边缘端进行部署和推理主要存在两大问题，即原始模型复杂度较 高，难以直接部署到资源受限的边缘设备上；模型在边缘设备上进行推理的耗时 较长难以满足实际任务的需求。针对这些问题，现有的工业视觉优化算法主要包 括模型压缩和推理加速两大类。 模型压缩算法通过对原始模型的冗余参数和复杂计算进行压缩和替换，从而 减少存储占用、通信带宽和计算复杂度，赋能机器学习算法在边缘端的应用与部 署。根据具体的压缩机理，模型压缩算法可以分为量化、剪枝、知识蒸馏和网络 结构搜索五类。

1）在深度神经网络中，模型中的参数通常以 32 位浮点数的形式进行存储和计算，量化通过减少表示每个参数的表示位数来压缩原始网络。根据具 体的量化位数，可以将量化分为 8-bit、4-bit，甚至是二值化。 2）剪枝是通过裁剪原始网络中的一些不重要的参数来减少 DNN（Deep Neural Networks）模型的存储和计算成本，根据剪枝的粒度，可以分为 权重剪枝、卷积核剪枝以及层剪枝等，不同的粒度代表了不同的压缩水 平。 3）知识蒸馏是指通过构建一个轻量化的小模型来替代原始的复杂大模型， 基于性能更好的大模型的监督信息来训练这个目标模型，以达到更好的 性能和精度。基于知识蒸馏的方法可以使模型的深度变浅，并且能够显 著降低计算成本。 4）网络自动搜索算法基于某种搜索优化算法，在特定的搜索空间中找到满 足要求的最优模型结构和参数，搜索出来的模型通常比原始模型具有更 好的性能，同时，由于搜索空间的限制，目标模型的通常可直接在边缘 端进行部署和应用。

以上这些模型压缩算法通过对原始的模型进行压缩和改变来适配边缘设备， 这为边缘计算场景下工业视觉机器学习算法的应用提供了支撑。 推理加速算法通常指在特定设备平台上，对运行时的性能进行优化，以提升 AI 模型的计算效率，降低推理延迟。根据优化方法的层次，可以分为算子优化、 图优化和推理框架支持等。

1）算子优化主要指对神经网络中的特定计算单元的计算逻辑进行优化，如 用 FFT 卷积和 Winograd 卷积运算来代替原有的卷积操作，优化后的卷积 具备更少的乘加运算量，降低了原始模型的计算复杂度。 2）图优化是多个算子之间的计算逻辑的优化，通过将原始计算图中的胶水 算子进行消除或者融合多个常规计算来优化计算图的执行逻辑，显著提 高了模型的计算效率。 3）在对模型进行边缘端部署时通常离不开推理框架的支持，同一模型在不 同设备，不同推理框架下的推理性能也不尽相同。不同推理框架通常对某些硬件平台设置了软硬件协同优化，极大提高了模型的实际推理速度。 因此，模型部署时推理框架选取的合适与否影响着最后的推理性能。 在边缘计算的背景下，机器视觉模型优化算法对工业视觉技术的应用中发挥 着重要的作用，高效的优化算法保障了视觉应用在边缘设备上的部署及其推理性 能，推动了工业视觉应用的落地与实施。

3.应用技术

在工业智能制造领域，机器视觉在实现其功能时不仅限于单纯的视觉检测， 更倾向于与运动控制进行深度融合，以实现类似人类手眼协调的操作方式。其中， 机器视觉与机械臂的协同应用是一种典型范式。在这种情境下，机器视觉承担定 位和识别的任务，协助机械臂在生产过程中进行物体的抓取、放置以及其他相关 的延伸动作。机械臂通过其内置的感应装置，如摄像头、电磁感应设备以及声音 感应设备，获取周围环境的信息，并将这些信息传递至中央控制系统。中央控制 系统将获得的信息进行数学建模，并将模型反馈至下一层控制。通过预设的程序 和算法，控制系统对信息进行识别和处理，最终发出相应的指令，驱动机械臂执 行相应的动作。机械臂在持续的循环中获取、处理信息，并根据反馈不断调整自 身动作，以实现更高精度的操作。通过机器视觉辅助的运动控制，生产过程可以 更加灵活地应对不断变化的需求，不再局限于简单的固定点对点移动，从而能够 满足日益复杂的生产工艺要求。

以智能激光加工设备为例，运用工业视觉控制解决方案，实现了一个完整的 智能操作流程。该流程包括信息化派单、机器手的视觉定位和抓取上料控制、传 送带的物料传递、加工件视觉定位的补正、入料瑕疵的检测、激光加工、成品的品质检测、机器手进行品质分检和下料控制，以及生产数据的上云等一系列步骤。 工业视觉与运动控制的融合为生产线自动化升级注入新的动力，其应用领域 也逐渐扩展至非接触检测和测量场景，旨在提升加工精度、发现产品缺陷、实现 自动分析与决策等，从而成为先进制造中不可或缺的重要组成部分。目前，机器 视觉技术在工业自动化领域的应用跨足光学、电子、机械和工业软件等多个学科 领域，技术挑战依然较为显著，特定领域的市场准入壁垒也相对较高。然而，机 器视觉与运动控制技术的结合具备促进工厂产线自动化程度、优化产品品质管控 以及调整人力成本结构等方面的潜力，有望提升企业的综合竞争力。