本介绍来源于国家自然科学基金辽宁联合基金重点项目“工业互联网边缘计算体系架构、协同优化与智能决策方法(No. U1908212)”， 项目由中国科学院沈阳自动化研究所牵头，联合上海交通大学和东北大学共同完成，起止时间为2020.01-2023.12。本项目工作概括如下：

一、项目背景

工业互联网是连接工业设备和生产的网络，智能化生产、网络化协同、个性化定制和服务化转型是工业互联网的核心内容。作为新型工业化的基础设施和智能制造的关键使能技术，工业互联网已经成为全球制造业竞相角逐的前沿科技。实现工业互联网智能化生产、网络化协同、个性化定制和服务化转型并非易事。物联网技术的发展虽然丰富了数据采集的手段，但随之而来的海量数据也对工业系统的实时性等问题提出了新的挑战。面对网络边缘侧数据的爆发式增长，传统的云计算模式表现出明显的不足，具体体现在实时性不足、带宽需求高、能耗需求大、数据传输和存储过程中安全和隐私难以保障。为了解决上述问题，边缘计算应运而生。根据边缘计算产业联盟的定义，边缘计算是在靠近物或数据源头的网络边缘侧就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。因此，边缘计算是实现工业互联网智能化生产、网络化协同、个性化定制和服务化转型等创新应用的关键。

虽然工业互联网边缘计算正在蓬勃发展，但关键问题尚未解决。目前，对边缘计算的方法研究大多侧重于如何通过算法或模型硬件化方式增强边缘节点的处理能力，而对如何通过边缘节点之间以及边缘节点和云中心合作的方式提高应用效能仍是难题。

图1　工业互联网边缘计算的基本思想及面对的挑战

边缘计算的基本思想是将实时性要求高的分析和决策功能下沉至网络边缘侧，以此提升“感知-分析-决策-控制”一体化系统的实时性，如图1所示。这种方式虽然能够有效提升系统的实时性，但同时带来了一系列问题。

首先，缺乏边缘一体化计算的理论基础。在边缘计算模式中，系统实时性要求高的分析和决策功能下沉至网络边缘侧，以此构成“感知-分析-决策-控制”一体化系统全生命周期计算模型。此时边缘计算系统成为兼有离散事件和连续变量等运行机制的混杂系统，网络动态性、测量噪声等问题将引发系统的不确定性；同时，工业互联网场景中任务常存在高并发的特点，同一时隙内可能存在多个事件，一体化模型计算结果确定性难以保证。

其次，缺乏高效的边缘侧资源管理和任务调度方法。边缘计算模式的核心是将分析和决策功能下沉至网络边缘侧，但受边缘侧计算资源和网络资源的限制，仅将实时性要求高的分析和决策功能下沉，以此实现云边协同计算；同时，边缘计算需要对边缘侧资源进行高效管理和优化，以此提升系统的实时性。目前尚缺乏高效的边缘侧资源管理和任务调度方法。

最后，边缘侧设备资源有限难以独立完成复杂计算任务。受限于现有芯片的处理能力及边缘侧存储设备发展水平，目前边缘设备仍然难以独立完成复杂的数据处理与分析需求。在工业互联网实际生产环境中，如何融合云和边缘侧计算资源，有效形成生产场景驱动的自适应学习方法以支持边缘个性化决策仍然是一个需要深入探索的问题。

二、项目背景和研究取得成果的总体情况

本项目面向工业互联网边缘侧计算和网络资源受限情况下系统确定性和实时性的需求，从工业互联网边缘计算统一模型基础理论、边缘侧高效的资源管理和任务调度、面向边缘个性化决策的云边协作自适应学习方法三个方面出发，构建了确定性保障的感知、分析、决策、控制协同的统一计算模型，提出了边缘侧大规模零散资源虚拟化方法、资源状态感知的计算任务迁移方法，以及深度学习模型的云边协作学习机制；基于上述研究成果，发表高水平论文32篇，受理发明专利16项，研发了基于边缘计算的运输机器人协同控制系统测试平台，以及基于边缘计算的工业分拣机器人控制系统测试平台，并进行应用验证。

二、标志性成果

成果一：工业互联网边缘计算框架模型

目前工业企业广泛应用的工业框架标准普遍面临如下痛点问题。首先，在架构方面，目前主要是烟囱式架构，数据逐层传递，跨层级不可视，严重影响数据质量。其次，在网络方面，目前工业现场网络“七国八制”，难以高效整合；第三，在平台方面，传统控制器封闭，软硬件强绑定，平台和程序耦合严重。

根据边缘计算在工业互联网的应用现状，本项目提出了工业互联网边缘计算功能架构，如图2所示。

图 2 工业互联网边缘计算功能架构图

该框架包括了现场设备、边缘控制器、边缘网关、边缘云和边缘服务器。在该框架下，边缘控制能力主要体现在边缘端对现场层设备的控制能力，包括传统离散行业的逻辑控制、PID控制、批量控制、复杂控制、联锁控制和运动控制等；边缘网络能力包括了数据采集、协议转换、5G网络、TSN和专业系统联通等；数据采集和协议转换是边缘端的基本能力，边缘端通过有线或无线方式与现场层设备、传感器、执行器建立物理连接后，通过边缘端支持的多种总线协议和工业以太网协议进行大批量数据的实时采集。同时，通过边缘端的协议解析能力，将采集数据进行过滤、映射或转换等处理，再通过OPC UA或MQTT等协议北向传输处理过的数据。在该框架下，各层之间可以根据任务的计算复杂度和实时性需求进行不同程度上的协作计算，从而满足系统的确定性和实时性等方面的需求。

成果二：工业互联网边缘计算编程模型和协同优化方法

信息物理系统是一个综合计算、网络和物理环境的多维复杂系统，通过计算、通信、控制技术的有机融合与深度协作，实现大型工程系统的实时感知、动态控制和信息服务。

信息物理生产系统（CPPS - Cyber Physical Production System）是信息物理系统在生产领域中的一个应用，它是一个多维智能制造技术体系，实现生产系统的智能化和网络化，包括自感知、自记忆、自认知、自决策、自重构运算与分析。CPPS紧密集成了网络实体和物理空间，例如调度服务和物理执行设备，用于工业智能生产自动化。为了实现对包含计算组件和物理组件的大规模动态异构资源的控制和管理，CPPS被赋予了自主性、协作能力、效率、灵活性和可重构性。传统的烟囱式编程需要工程师付出相当大的设计努力来处理网络物理模型的时空异质性，包括计算、时间和几何语义以及物理动力学，因此需要一个易于使用的编程模型和集成的编程框架来缓解CPPS编程的挑战，相关架构如图2所示。

图 3 考虑系统结构控制和调度的工业互联网边缘计算编程模型架构图

本成果实现两个方面的突破：

1）具有几何空间语义的基于事件的编程模型：该模型是具有几何空间语义的基于事件的编程模型是iec61499 BFB的扩展，简称GeFB。GeFBs是CPPS组件，它表示物理对象的相关函数、变量和控制接口，在时间和几何方面具有相应的语义。通过扩展事件语义，几何信息变量可以通过事件驱动机制传递，时间语义也可以通过事件驱动机制传递。

2）模块化边缘计算信息物理系统体系协同优化方法：目前CPPS结构、控制和调度是分开设计的，全局最优解难以确定。为了解决这一问题，项目提出了一种协同设计方法，将结构、控制和调度的设计空间视为整体的、离散-连续的混合空间，并提出了一种包含循环仿真的通用迭代算法模式来解决上述新问题，并以一个实际的单级减速器装配生产系统为例展示了上述方法的有效性。

成果三：基于任务的异构计算资源量化与虚拟化技术

由于边缘计算场景中节点资源有限且分布广泛，边缘计算资源难以根据任务具体需求进行集中管控，需要设计可实现任务异构资源按需分配的异构资源分析方法与相应的资源可调节的虚拟化模型，为任务调度提供资源基础，相关内容如图4所示。

图4 基于任务的异构计算资源量化与虚拟化方法

本成果实现三个方面的突破。

1）建立了异构计算资源统一模型：首先对节点各主要组件进行了性能分析，同时考虑各组件对应其主要影响的性能指标，如处理器影响计算能力，网卡影响传输速率、带宽有限情况下数据无法实时传输对计算能力造成的影响。随后，采用多种性能影响因子共存的特征提取方法，对各组件能力和节点各性能指标间的影响因子进行分析，建立基于组件能力的节点性能模型，得到节点组件能力与节点计算资源的对应关系。

2）建立了基于DQN的统一量化方法：以最大化资源利用率为目标，通过资源量化方法最小化预测执行时间，从而对任务的细粒度建模能够为调度、卸载以及资源分配问题提供一个必要的前置技术参考，缓解了实际生产中任务分配到的算力溢出就会造成资源的浪费，可以实现工业边缘计算资源灵活、细粒度的动态配置。

3）研发了容器虚拟化技术：基于以上理论技术成果，项目组进一步展开了容器虚拟化方面研究，以经典docker容器虚拟化为核心，结合NVIDIA提出的CUDA框架，实现对多种异构资源的统一管控。结合工业互联网边缘计算框架，在系统中不同硬件的迁移调度通过平台层中间件API数据传递实现，从而实现消息跨层传输的高实时、高可靠交互。

成果四：复杂深度神经网络云边协作联合训练

针对边缘节点计算、存储、通信资源受限的固有特点，探索有效的云边协作学习机制，通过合理分配云中心和边缘节点的学习与推理任务，支持数据在生产现场的轻量级运算和实时分析，从而有效提升边缘决策的实时性、适应性和可靠性。具体包括以下内容：面向边缘独立决策的在线迁移学习方法，为智能算法在云边协作环境的学习提供理论支撑；场景驱动的DNN模型动态分割学习，解决智能算法在云边协作环境下如何拆分的问题；基于在线学习的边缘个性化决策方法，提升智能算法学习过程的场景适应性，相关内容如图5所示。

图5 复杂深度神经网络云边协作联合训练

本成果主要包括三方面突破：

1）面向边缘DNN模型训练的代表性样本选取方法：提出一种面向边缘DNN模型训练的代表性样本选取方法，通过选取从不同侧靠近边界并且彼此靠近的训练数据，可以降低测试数据被错误分类的概率；在边缘设备端通过流数据聚类算法的聚类结果，找到各个聚成簇之间的最佳边界、各个类中距最佳边界距离最短的数据点以及属于该最佳边界的数据。

2）场景驱动的边缘侧DNN模型压缩方法：首先，根据隐藏层的规则减少模型的输入参数能有效减少模型的隐藏层参数，从而减少模型的大小；其次，通过对模型的输入与输出间的关联性进行分析，删除不必要的输入属性，达到模型压缩的目的，这样不仅可以在压缩模型大小的情况下，减少边缘端数据量以及传感器的使用个数，提升边缘端的整体性能和部署模型的数量，还能降低数据传输的成本，节省网络带宽和资源存储压力。

3）场景驱动的DNN模型动态分割策略：基于现有的DNN网络层性能预测模型，将DNN模型动态分割问题建模为一个考虑边缘设备电量、算力约束的推理延迟最小化问题，多边缘设备分布式部署为进一步优化的目标，以常用于云边协作学习任务的BranchyNet模型为例，研究并实现了模型分割点计算及分割后模型的部署方法。