边缘数据管理与分析平台技术架构分析

工业边缘数据管理与分析，聚焦于工业边缘，从数据全生命周期的 角度，构筑一个集工业现场网络、计算、存储、融合、应用等核心能力 为一体的开放式系统平台架构，支撑工业互联网的四个重要场景。

1.边缘数据的灵活接入管理与数据管理

边缘数据的灵活接入管理，是指包含网关管理、协议管理和点位管 理的边缘网关服务，支持边缘网关的在线注册、远程管理和信息管理， 支持批量的网关注册、点位的配置与导入；需要在工业边缘，融合网络、 计算、存储等核心能力，就近提供边缘数据计算服务，一方面可以充分利用边缘端的算力以减轻平台端的数据处理和计算压力，另一方面可以 利用边缘设备更加靠近现场的优势，及时快速响应和处理现场需求和变 化，就近提供边缘智能服务。

采集的数据，经汇总、缓存后，支持下游系统及其它第三方系统 的转发上报，实现数据的多系统协同，提供强大的扩展与开发能力，技 术框架内基于 Go，C/C++语言等开发的相关软件开发工具包，可以完成 边缘设备运行插件的定制化开发，扩展适配私有化协议，支持更多的边 缘计算功能；

 支持数据多级缓存、断点续传，提供工况环境停机维护或意外断 电场景下的数据安全保障机制；支持高安全网络环境，可适应工业边缘 安全网闸等单向数据传输场景；

 遵循工业协议的参数要求以及工业边缘设备数据管理规范，提供 点位映射服务，按照现场设备的点位管理表要求，配置数据采集内容， 如根据 PLC 等端设备中设定的配置寄存器地址、偏移量等信息完成点位 配置与采集。支持分组管理、列表管理，支持点位批量导入导出，支持 多种数据类型（如：BOOLEAN、BYTE、SHORT、INT 等等）。

边缘时序数据管理是指通过存储和管理时间序列数据的高性能数据 库，为时序数据提供读写、存储、计算、分析能力以及外部集成开发能 力，应对边缘数据多源异构终端的接入挑战，解决边缘时序数据的时效 性、数据多源异构化问题，实现边缘数据的高时效性处理和存储管理目 标。

时序数据库作为工业边缘数据管理与分析的重要基础组件，紧靠数 据产生源，可实现毫秒级的实时数据处理需求，可降低系统整体的关系 复杂度、资源需求量，保障数据的时效性、准确性和完整性。基于工业设备数据点位方式的数据管理，可以将多种类型的设备数据抽象到可以 管理与分析的数据点位，支撑工业边缘数据的统一数据转换。

基于分布式架构的数据管理与高性能存储方案，适应工业边缘高并 发、写多读少的时序数据特点，协同计算、分析、存储的全局点位管理， 可提供数据趋势查询、自定义图表统计、数据可视化的配置与呈现能力。 同时适应本地管理模型与云端管理模型的对应与融合（如 Modbus， OPCUA 规范等），为后续的云边协同、边边协同提供基础数据支撑。点位 管理的核心功能应包括：

层级管理：以组织树结构的层级化形式查看与管理点位/测点数 据，提供更接近工业边缘现场的点位/测点查看方式；

 点位管理：支持单个或批量导入点位数据；支持通过数据计算的 数据流写入数据的点位；支持对单个点位或者批量点位进行数据存储的 配置和删除操作；

 点位信息：支持查看元数据完整信息，如：点位名称、点位来源、 别名、数据类型、最新值、是否反控、存储方式、Restful API 访问地 址等；

点位趋势：支持查看点位数据的趋势走向，更直观的查看数据异 常方式。对于非数值类型数据，可以通过表格形式显示最新数据。

2.边缘数据的批流融合灵活计算

边缘数据的批流融合灵活计算是指在边缘实时数据的处理的过程中， 需要屏蔽底层复杂的任务划分和集群调度细节，融合有着迥异编程模型 和编程接口的批处理框架和流式计算框架，以应对历史分析和及时决策 的挑战，实现减少数据资源消耗、降低业务协同难度，从而实现减少数 据计算的开发成本和维护成本的目标。

数据管理与分析的系统架构中的批流融合计算，需要支持：  统一 API 抽象接口，描述批流两类作业的抽象接口；

 流计算引擎基础上支持批处理等复杂编程模型，统一批流作业管 理接口；

 以高性能时序数据库为基础，批流两类作业使用同一套资源调度 和分配系统，资源共享，削峰填谷；

 丰富的数据计算功能：计算流式管理（新建、编辑、删除、检索、 排序等）；支持计算流的开关量取反、进制转换、幅度滤波、线性、平 方根、一阶滞后滤波及四则运算表达式等计算方式；

全面的数据处理插件，提供函数脚本拓展开发，满足多种数据处 理场景。数据处理插件，包括：数据处理插件（数据筛选、数据转换、 列值算式、查找替换、数据拆分、列编辑、文本构造、HTTP Client、 XML 抽取、JSON 抽取）、函数运算插件（提供函数筛选（包含日期函数、 计算函数、字符串函数、条件函数等共计超百种函数模板）、添加列、 替换列、可以直接嵌入 JavaScript 代码和 Python 代码）、窗口计算插 件（滑动窗口和滚动窗口，在特定时间窗口内进行聚合计算，例如数量 统计、取平均值、求和、最大值、中位数、方差等）。

3.面向边缘设备数据的组态化应用服务

组态化应用服务是指通过面向工业制造的数字孪生方法，基于工业 现场的设备、工艺、流程、机理的实时状态数据，映射在工业互联网平 台上所构建的对应的数字镜像模型，并赋予模型服务能力（属性、事件、 服务、算法），通过类似“搭积木”的组态化方式，实现对应用服务的 配置、设置、部署和运行，从而实现工业边缘的及时服务以及“端-边云”的应用协同服务，服务模型的组态化编排可以有效降低工艺优化与经验沉淀的门槛与过程工作量，实现数据应用在工业边缘广泛普及，应 对生产及运维灵活管理的挑战。

通过构建物理设备在数字系统内的数字化、智能化镜像，重组工业 现场的状态信号与边缘数据，实现设备的访问与反向控制能力，主要实 现方式包括设备模板、设备实例和设备可视。

设备模板：基于数据模型的能力（属性、事件、服务、事件订阅） 来赋予更多物理设备本身不具备的能力，将物理设备的行业经验、工业 机理、业务流程进行封装，并通过实例化实现设备赋能与共享，为边缘 数据应用提供模型服务接口以及事件订阅逻辑，对外提供 Restful API 以满足开放协同的需求；

 设备实例：对设备模板进行实例化后的对象。设备实例对应工业 现场里一个真实的唯一的设备实体。设备实例继承了设备模板所拥有的 属性、事件、服务和消息订阅。同时，该设备实例也可以扩展出独有的 属性、事件、服务和消息订阅；

 设备可视功能：遵循传统工业边缘现场人机交互常见的组态形式， 提供快捷的生产设备、工艺流程及数据实时呈现。满足最终用户建立各 级数据可视化，支撑生产监控的需求。

传统工业自动化一般都有组态软件作为用户交互界面进行工业自动 化软件的开发，组态简化了自动化工程师在软件层面的开发难度，让他 们专注于需求及功能的设计。在互联网领域内，编排一般在云端实现， 体量大、依赖关系复杂，难以适应工业互联网边缘。通过组态编排模块 下沉到工业边缘，降低与云端间来回传输数据的时间与资源开销，降低 工业现场操作人员的编程能力门槛，实现工业现场的资源调度与管理， 降低编排组件对云服务的依赖。

4.边缘数据管理与分析的微服务化访问技术

边缘数据管理与分析的微服务化访问能力是指在工业边缘数据管理 与分析的系统架构中，采用微服务架构，将完整的数据分析应用划分成 多个小的服务组件，组件之间采用轻量级的通信机制互相沟通（如 RESTful API），互相协调、配合，使得应用程序整体更易于在线扩展和 独立开发，从而加速更新，缩短发布周期。通过微服务化发布技术，以 应对工艺复制与经验传播的灵活数据场景，实现工业边缘数据协同和敏 捷开发的要求。

在工业边缘计算资源参差不齐的情况下，边缘数据管理与分析 API 发布的微服务化如果直接使用互联网主流开源微服务 RPC 框架，存在程 序语言限制、安全体系不完善及服务资源占用不可控等问题。考虑到微服务架构能够为工业边缘数据管理服务的开发和共享带来复用性、灵活 性和扩展性，工业边缘数据管理与分析的框架，将内部的点位管理服务、 数据计算服务、数字孪生服务、可视化服务，按照微服务架构进行独立 设计和开发，微服务组件之间采用 RESTful API 作为接口，既可以被内 部其他微服务调用，可以对外提供调用服务，方便开发者基于这些接口 进行二次开发，实现项目快速交付。

工业边缘数据的特点，使得传统的基于请求/应答的点对点同步通 信已不能很好地满足工业现场设备繁杂、数据异构的数据协作要求。基 于事件驱动机制的微服务系统架构是建立大规模分布式数据管理与分析 系统的有效方式。

一个事件驱动系统典型地由事件消费者和事件产生者组成，通常采 用订阅-发布机制。事件消费者向事件管理器订阅事件，事件产生者向 事件管理器发布事件。当事件管理器从事件产生者接收到一个事件时， 事件管理器把这个事件转送给相应的事件消费者。通过提供瞬时过滤、 聚合和关联事件的能力，事件驱动机制可以快速地检测出事件并判断它 的类型，从而帮助系统快速、恰当地响应和处理这些事件。事件驱动机 制使得系统及组件之间更加松散耦合，增强系统的事务处理能力。

5.面向边缘数据综合分析的人工智能技术

面向边缘数据综合分析的人工智能技术是指将算法模型就近部署在 工业边缘的终端设备，将计算资源和算法服务下沉到网络边缘端，以更 低时延、更低带宽占用、更高能效和更好隐私保护性服务于工业边缘数 据。针对海量的工业现场的半结构化和非结构化数据进行处理，可以获 得高密度的高效分析能力，以应对价值提取与时效性的挑战，实现工业 场景下的智能监测、异常监测、故障预测和快速排障技术等的应用，改 善人工智能应用的性能和成本，使得智能更加贴近用户侧，满足工业边 缘数据在实时业务、数据优化等方面的关键需求。

边缘侧智能监控技术：生产过程及环境会随着生产状况的变化而 发生变化，如设备全速运转和低速运转时监控的统一参数的阈值可能不 一致，工业生产过程中阈值监控需要采用智能监控的方式才能更好匹配 现场的工业生产环境，通过收集现场生产、设备运行状态和物品清单等 数据，使用自动化机器学习技术，对各项指标的基准值、阈值做预测和 监控，精确地判断需要报警的异常点，实现数据实时分析和监控；

 边缘侧缺陷异常检测技术：构建基于边缘计算的自动化机器视觉 技术架构，以提高前端设备的智能处理能力，通过摄像头、传感器等设 备采集数据，在数据采集现场对视频、图像和语音等数据进行深度分析， 去除冗余信息，在靠近用户和数据源的网络边缘侧，使用模型压缩技术 完成机器学习模型在工业边缘的部署，对产品质量、人员行为等方面进 行检测，完成工业边缘的自动异常检测；

 边缘侧故障预测技术：基于边缘计算的物联网可以有效完成故障 预测工作，将边缘计算架构引入物联网领域，在靠近设备或数据源头的 网络边缘侧，搭建融合网络、存储、计算、应用等能力的平台，就近对 工业设备运行特有格式的数据、原始日志、图片、多媒体文件等数据等提供计算服务，通过特征识别、模型训练、演化规律来完成对系统进行 在线动态智能预测，实现设备故障预测性维护，避免或最小化了故障时 间，协助对周期性的维护操作进行优化，提高设备运维效率，降低维护 成本；

边缘侧故障监控技术：相比智能运维，人工处理的时效性和可靠 性都不稳定，通过在边缘设备上运行微服务架构的组件软件，可启动边 缘设备上的人工智能程序，利用自动控制、专家系统的模拟和推理、知 识发现和人工神经网络的学习特性，建立设备维修、决策模型，实施设 备维修的智能决策和管理，为设备管理和维修人员提供故障检测与诊断 的智能决策，实现智能维护和保养功能，解决资源优化和预测维护等问 题。