无线网络的数字孪生模型

基于多智能体深度强化学习的端边协同调度

　　边缘计算技术是赋能工业控制等高实时、高可靠应用的关键支撑技术，它通过将计算资源部署于终端设备附近，可为工业现场提供丰富的算力资源，有效降低任务传输和处理时延。然而，由于终端设备上承载的任务异构多样，而无线网络的通信资源又严重受限，极易导致任务迁移过程中的计算资源抢占和无线网络拥塞。

　　针对该问题，中国科学院沈阳自动化研究所工业5G团队提出了一种数字孪生驱动的异构任务及资源的端边协同调度方法，以论文形式刊载于计算机网络领域学术期刊IEEE Journal on Selected Areas in Communications（中国科学院一区TOP期刊，IF：16.4）。论文名称为：Digital Twin-Driven Collaborative Scheduling for Heterogeneous Task and Edge-End Resource via Multi-Agent Deep Reinforcement Learning。

　　该研究中，科研团队首先采用数字孪生技术，对感知/控制等异构任务、CPU/GPU等异构算力资源、信道/功率等异构通信资源进行了虚拟化建模。在充分考虑异构任务的截止期要求、端边设备的计算类型和处理能力、数字孪生的资源估计偏差、终端的最大发射功率和可容忍的峰值干扰功率基础上，构建了一个任务处理时间最小化问题，提出了基于多智能体深度强化学习的端边协同调度方法。该方法通过离线的集中式训练和在线的分布式执行，同步完成计算类型匹配、端边任务划分、算力资源分配和功率控制，实现异构任务及网算资源的端边协同调度，满足异构任务的多样化需求。

　　近年来，科研团队聚焦5G与工业制造技术的融合创新研究，在工业5G网络的协议设计与优化调度、标准制定、系统验证等方面取得了一系列研究进展，成果先后发表于IEEE Transactions on Industrial Informatics、IEEE Communications Magazine、IEEE Network、Engineering（《中国工程院院刊》）等学术期刊。

　　该研究成果得到了国家重点研发计划、国家自然科学基金、辽宁省优秀青年科学基金等项目的支持。（工业控制网络与系统研究室）