沈阳自动化所提出基于循环神经网络的图像修补新模型

　　近日，中国科学院沈阳自动化研究所在自然场景及人脸图像的修复领域中取得新进展，提出的基于循环对抗生成网络的图像修复方法成功应用于任意缺失区域的检测和修复。研究结果2021年发表在IEEE TRANSACTIONS ON MULTIMEDIA。

　　图像缺失区域的恢复是图像处理中的难点问题，是影响目标识别、跟踪等视觉任务的精度和鲁棒性的重要因素。由于图像缺失区域信息的完全丢失和缺失信息的唯一性，因此根据已知区域的特征准确恢复图像中的缺失目标信息至关重要，传统的复制-粘贴模式难以同时满足图像结构和细节的恢复需求。

　　沈阳自动化所视觉课题组提出一种基于循环对抗生成网络的修复模型，将图像修复过程转化为由结构到细节逐步、循环预测和修复损失区域的过程：高层语义特征在图像修复过程中负责指导结构重建；低层特征对高层语义有明显的补充作用，负责细节重建。通过实验，研究人员在多个数据库上与主流算法进行对比，在峰值信噪比（PSNR）、结构相似性（SSIM）、图像相似性（FID）等多个指标上均为最优。

　　该研究得到了国家自然科学基金、科技部重点研发计划以及中国科学院国际合作重点项目和交叉创新团队等项目的支持。(机器人学研究室)