【www.zhangdahai.com--其他范文】
成科扬， 荣 兰， 蒋森林， 詹永照
(1.江苏大学 计算机科学与通信工程学院，江苏 镇江 212013；
2.镇江昭远智能科技有限公司，江苏 镇江 212013；
3.江苏省大数据泛在感知与智能农业应用工程研究中心，江苏 镇江 212013)
遥感图像超分辨率重建是对具有互补信息的低分辨率遥感图像进行处理，来获得高分辨率遥感图像的技术[1]。遥感图像是遥感技术的数据支撑和应用基础[2]，为监视地球表面提供了丰富的信息，在灾害监控、城市经济水平评估、资源勘探等领域具有广泛的应用。目前从卫星获得的遥感图像质量无法满足地物目标识别、土地检测等应用的需求[3-4],并且从硬件上着手提升遥感图像成本高、难度大，因此尝试从软件上通过图像处理技术使遥感影像分辨率得以提升，以较小的经济代价改善影像分辨率，提高影像利用效益。由此可见，遥感图像超分辨率重建技术的研究具有重要的研究意义。
随着深度学习的发展，人们将深度学习方法用于图像超分辨率重建，该方法提升了超分辨率算法的重建效果并且克服了传统算法的缺点。深度学习方法在自然图像超分辨率重建上的成功让很多遥感领域的学者将它应用在遥感图像超分辨率重建中，并且取得了不错的效果。
随着基于深度学习的遥感图像超分辨率重建问题研究的深入，大量方法不断出现。一些学者对该领域工作进行了综述[5-6]，但涉及算法种类少，分类不够全面。因此，本文在前人工作的基础上，对基于深度学习的遥感图像超分辨率重建方法进行系统总结，总体框架如图1所示。
图1 基于深度学习的遥感图像超分辨率重建方法框架图Figure 1 Fram diagram classification of super-resolution reconstruction method of remote sensing image based on deep learing
传统的遥感图像超分辨率重建方法主要有3类:频域法、空域法和频域-空域结合的方法。频域法主要分为频谱解混叠算法、递归最小二乘法等，基于的理论前提过于理想化，不能有效地应用于多个场合，所以目前这类方法已不再成为研究的主流；
空域法虽然灵活性好，但是涉及帧内运动模糊、光学模糊以及其他复杂的降质模型等诸多因素，导致其优化方法复杂，计算的代价大，不能成为主流的方法；
频域-空域结合的方法虽然结合了频域法和空域法的优势，但运算复杂，计算量大，也不能成为主流的方法[7]。
基于深度学习的图像超分辨率重建方法最先由Dong等[8]于2016年提出，深度学习方法打破了频域法、空域法和频域-空域法的局限性，在重建效果上有了很大的提升，该方法步骤如图2所示。先将低分辨率和高分辨率遥感图像对送入深度学习方法中进行学习训练，得到低分辨率和高分辨率遥感图像之间的关系，再将低分辨率遥感图像送入训练好的深度模型中，得到重建后的超分辨率遥感图像。目前，最常用的基于深度学习的遥感图像超分辨率重建方法主要有2种架构，分别是基于CNN(convolutional neural networks)的方法和基于GAN(generative adversarial network)的方法,在这些架构基础上，研究者们根据遥感图像的不同特点，设计、组合不同的模块来提高遥感图像的超分辨率重建效果[9]。
图2 基于深度学习的遥感图像超分辨率重建步骤Figure 2 Steps of super-resolution reconstruction of remote sensing image based on deep learning
单图像超分辨率重建方法可以有效地用于一般的分类、目标检测和对象提取等计算机视觉任务的预处理操作。目前单幅遥感图像超分辨率重建常常采用CNN和GAN两种网络。
2.1 基于CNN的单幅遥感图像超分辨率重建
在遥感图像超分辨率重建领域，有3种最常用的CNN架构，分别为SRCNN(deep convolutional networks for super-reselution)、VDSR[10](very deep convolutional networks for super-reselution)和EDSR[11](enhanced deep residual networks for super-reselution),这3种方法在自然图像的超分辨率重建上均取得了不错的效果。SRCNN是第一个将CNN应用于超分辨率问题的方法；
VDSR在SRCNN的基础上引入了残差网络，扩展了SRCNN的功能；
EDSR是目前通用图像超分辨率重建性能最好的方法之一。在这些架构的基础上，根据各种遥感图像超分辨率重建任务的独特性，研究者们设计出了不同模型，本节将给出其中具有代表性的几种网络模型。
2.1.1 基于SRCNN的遥感图像超分辨率重建
Liebel等[12]首次提出将SRCNN用于单幅遥感图像超分辨率重建。在这项工作中，使用专门设计的由Sentinel-2遥感图像组成的数据集来训练SRCNN。结果表明，该方法比传统的双三次插值方法取得的效果好，并且速度快、易于训练，这也说明了基于深度学习方法的有效性。但是该方法没有考虑遥感图像尺度多样性的特点，所以重建效果不太明显，于是人们根据遥感图像的尺度多样性特点，提出了许多基于多尺度特征提取的方法。
2.1.2 基于多尺度特征提取的遥感图像超分辨率重建
由于遥感图像和自然图像有很大的不同，遥感图像中包含的物体和环境常常耦合在一起，而且图像尺度跨度较大，但是目前大部分网络都是在单个对象范围内构建字典或者先验知识，忽略了环境信息。于是Lei等[13]提出一种基于VDSR[10]的网络，称为局部-全局结合网络(local-global combined networks，LGCNet)。如图3所示，该网络包括3个部分：①特征提取部分，利用L层卷积，获取不同层的特征表示；
②局部-全局信息结合部分，这部分也是整个LGCNet的核心部分，主要将不同层的结果级联起来，也就是所谓的“多叉结构”；
③重建部分，重建出高分辨率的遥感图像。该方法在UC Merced数据集的上进行实验，结果表明，和SRCNN相比,可以实现更高质量的重建效果。
图3 LGCNet网络结构Figure 3 Structure of LGCNet network
Xu等[14]也针对多个尺度特征提取的问题，提出深度记忆连接网络(deep memory connected network，DMCN)。DMCN是一种对称的沙漏结构CNN，具有多个跳跃连接。该网络在NWPU-RESISC45、UC Merced和GaoFen1数据集上的实验结果表明，与LGCNet[13]相比，虽然它的重建效果只有略微的提升，但是内存占用量和测试时间都大大减少了。
上述研究虽然都使用了多尺度特征提取的方法，但是网络较深且结构单一，不能灵活适应多尺度特征，于是Wang等[15]提出了一种用于遥感图像的超分辨率重建的自适应多尺度特征融合网络。该方法提出了一种自适应多尺度特征提取模块，该模块结合了挤压激励网络和自适应门控机制。通过该模块可以自适应地将提取的多尺度信息进行融合，该方法优于SRCNN、ESPCN[16](efficient sub-pixel convolutional neural network for super-reselution)、MSRN[17](multi-scale residual network for image super-resolution)等经典方法。
2.1.3 结合小波变换的遥感图像超分辨率重建
Ma等[18]提出另外一种结合小波变换和带有局部、全局残差连接的CNN超分辨率重建网络结构(wavelet transform combined with the recursire res-net, WTCRR)。如图4所示,该网络带有局部和全局的残差连接，通过关注频域来解决超分辨率重建问题。该网络包含3个部分：分解、预测和重建。分解部分就是将经过双三次插值的图像通过2D离散小波变换分解为4张低分辨率图像；
预测部分指的是把上一步分解出的4张图像输入到具有递归和残差网络的CNN网络结构中，得到初步的预测结果；
重建部分将预测部分得到的图片通过逆离散小波变换进行组合，重建出最终的高分辨率图像。该方法在NWPU-RESISC45数据集上的实验结果表明，与DRNN[19](deep recurrent neural network)相比，该方法重建后的图片边缘有所改进。
图4 WTCRR网络结构Figure 4 Structure of WTCRR network
2.1.4 高放大因子的遥感图像超分辨率重建
目前，适度放大单幅遥感图像空间分辨率(例如×2、×3)的问题得到了有效的解决，但是高放大因子(例如×4、×8)的遥感图像超分辨率重建仍是个难题。Pan等[20]针对上述问题提出快速残差密集反投影网络(fast residual dense backprojection network，FRDBPN)，该方法受文献[21]中自然图像超分辨率重建方法的启发,采用上投影和包含特定卷积和扩张卷积序列的下采样单元以及全局和局部残差连接。该方法在UC Merced数据上的实验表明，与其他基于深度学习的自然图像超分辨率重建方法相比，该方法在重建效果上有所提升。
2.2 基于GAN的单幅遥感图像超分辨率重建
生成对抗网络(GAN)是一种深度模型，模型中至少包含2个模块：生成模型和判别模型，通过这2个模型的相互博弈学习产生好的结果。基于生成对抗网络的图像超分辨率重建方法是由Ledig等[22]提出。随后研究者们将GAN用于遥感图像的超分辨率重建，针对不同的遥感图像超分辨率任务设计出不同模块组合。本小节主要介绍几种具有代表性的基于GAN网络的单幅遥感图像超分辨率重建模型。
2.2.1 沙漏状生成网络的遥感图像超分辨率重建
Haut等[23]聚焦于生成模型，提出一种沙漏状的生成网络架构。该网络以无监督的方式进行训练。生成网络将随机噪声作为输入，通过下采样生成低空间分辨率数据，并传递给上采样结构，如此反复优化，最终生成高分辨率图片。与目前最新的无监督方法相比，该模型在UC Merced、RSCNN7和NWPU-RESIS45数据集上取得了不错的效果，尤其当图像放大4倍时，效果更好。
2.2.2 边缘增强网络的遥感图像超分辨率重建
由于受噪声的污染，遥感图像恢复高频边缘细节方面仍然需要改善。于是，Jiang等[24]提出一种基于生成对抗网络的边缘增强网络，该网络的生成网络由两个子网络超密集子网(ultra dense sub network，UDSN)和边缘增强子网(edge-enhancement sub network，EESN)组成。当UDSN用于重建图像时，重建结果看上去很锐化，边缘受噪声污染严重，因此，专门设计了EESN通过学习噪声掩码来增强边缘。该方法相比经典的SRCNN、VDSR[10]和SRGAN[22]方法的重建效果有很大提升。
2.2.3 可跨传感器的遥感图像超分辨率重建
用于遥感图像超分辨率重建的数据通常局限于特定的位置和特定的传感器，导致不同位置和传感器之间推广模型的能力有限。于是Xiong等[25]修改了SRGAN的损失函数和网络结构，并提出改进的SRGAN方法(improved SRGAN,ISRGAN)。ISRGAN方法使得模型训练更加稳定，并增强了泛化能力，实现遥感图像一次训练，就可以用于任何地方和不同的传感器。实验结果表明，使用ISRGAN超分辨率重建之后的土地覆盖分类的准确性可以得到显著提高，尤其在具有高分辨率纹理道路和建筑物上，准确率提高了15%。
单幅遥感图像的超分辨率重建技术引起了计算机视觉和深度学习社区的广泛关注，但是对于更通用的多幅遥感图像超分辨率重建方法却没有太多的研究，特别是基于深度学习的方法。与单幅遥感图像超分辨率重建相比，多幅遥感图像超分辨率重建中包含有更多的互补信息，过程也更具有挑战性，需要解决多个低分辨率图像之间联合配准和融合等额外问题。
针对上述提出的挑战，Deudon等[26]提出了HightRes-net网络，首次将深度学习的方法引用到多幅遥感图像超分辨率重建中，该方法以端到端的方式学习子任务，子任务包括：①图像配准;②图像融合;③上采样;④配准损失函数。图5为HightRes-net网络结构图。如图5(a)所示，HightRes-net是一种深层结构，通过参考帧通道，学习将任意数量的低分辨率图像进行联合配准，然后进行上采样和超分辨率重建。如图5(b)所示，将得到的Shiftnet损失反馈到HightRes-net模型中，得到重建图片。Shiftnet损失ISRGAN函数保证了多幅遥感图像的超分辨率重建不会因为配准不足、亚像素偏移等导致输出结果模糊。结果表明，该方法达到很好的超分辨率效果并且在欧洲航天局的真实遥感图像的多幅超分辨率重建比赛中取得较好的成绩。
图5 HightRes-net网络结构图Figure 5 Structure of HightRes-net network
本文还总结了多/高光谱遥感图像的空间分辨率和光谱分辨率的重建方法。光谱图像包含数百个波段，提供了丰富的光谱特征，每张图像代表不同电磁波段下场景的反射率和辐射率，这种物理表示在许多应用中起着至关重要的作用，例如遥感分类、目标检测和异常检测。但是由于硬件限制，收集高质量的高光谱图像比全色图像困难，并且分辨率也较低，因此超分辨率重建技术也被引入到该领域。Li等[27]和Wang等[28]将深度学习的方法用于多/高光谱遥感图像超分辨率重建，随后学者们积极地探索基于深度学习的多/高光谱图像超分辨率重建方法，下面将介绍几种有代表性的方法。
4.1 基于SRCNN的多/高光谱图像超分辨率重建
Yuan等[29]将用在自然图像上预先训练的单图像超分辨率重建方法SRCNN用来独立增强多/高光谱遥感图像的每个频段，并借鉴转移学习思想将其转化为高光谱图像。另外，为了研究低分辨率和多/高分辨率高光谱图像之间的光谱性质，还提出了协作非负矩阵分解来增强低分辨率和高分辨率光谱之间的关联。实验结果表明，所提方法不需要相同场景的任何辅助图像就可以达到不错的超分辨率效果。He等[30]也考虑了Yuan等[29]的方法，首先，用自然图像训练拉普拉斯金字塔网络[31]；
其次，利用预训练好的网络对多/高光谱遥感图像的每个波段进行超分辨率重建；
最后，利用编码光谱在低空间分辨率多/高光谱图像上进行训练，来提高多/高光谱分辨率。
4.2 改进损失函数的多/高光谱图像超分辨率重建
大多数基于CNN的图像超分辨率重建网络，都是使用默认的L2损失函数，但是对于高光谱图像，该损失函数可能会导致光谱不一致。对多/高光谱图像的超分辨率重建，损失函数不仅应该关注空间信息，还要关注光谱信息。于是Zheng等[32]提出一种同时考虑空间和光谱信息的多损失函数网络，它由串联密集残差网络(concatenate dense residual network，CDRN)和损失网络(loss network，LN)组成。CDRN是图像重建部分;LN包括像素的空间损失和光谱损失，它驱动整个模型的学习。该方法与VDSR和EDSR相比，峰值信噪比分别提高了1.8 dB和0.5 dB。
5.1 数据集
目前前沿的基于深度学习的遥感图像超分辨率重建方法的常见数据集如下。
(1)UC Merced数据集[33]，它是一个用于研究土地利用的数据集，一共有2 100张图片，包含21类场景，每类100张，每张图片的像素大小为256×256。
(2)RSCNN7数据集[34]，一共包含2 800幅遥感图像，分别来自7个不同的场景类别，每个类别包含400张图像。
(3)NWPU-RESISC45[35]数据集，来自西北工业大学，一共含有31 500张图片，分为45个场景类别，每类有700张，每张图像的像素大小为256×256。
(4)Kaggle开源数据集，该数据集中Draper卫星图像包含了1 000多张在南加州拍摄的高分辨率航空照片。
(5)Sentinel-2数据集，它是Sentinel系列里的一个系列，数据免费，主要有效载荷是多光谱成像仪，共有13个波段，光谱在0.4～2.4 μm，涵盖了可见光、近红外和短波红外，并且该数据集作为Landsat系统在对地观测领域的补充，目前应用越来越多。
5.2 实验结果对比
表1展示了在×2、×3、×4放大因子下，不同的遥感图像超分辨率重建方法与双三次插值相比，峰值信噪比PSNR提升的百分比。单幅遥感图像超分辨率重建方法的结果表明，使用基于GAN的结构，并在通用图像上进行预训练，PSNR提升得更高，可以取得目前最好的重建效果。对于多/高光谱遥感图像超分辨率重建方法，PSNR提升明显较低，这主要是由于多/高光谱遥感图像的特殊性造成的，这一结果表明，同时利用空间和光谱信息，可以获得更好的性能。
表1 不同的遥感图像超分辨率重建方法与双三次插值相比的PSRN提升百分比Table 1 The PSRN improvement performance of different remote sensing image super-reconstruction methods compared with bicubic
5.3 分析与讨论
自从SRCNN被用于遥感图像的超分辨率重建以来，各种基于深度学习的方法被用于遥感图像的超分辨率重建，总结上述具有代表性的遥感图像超分辨率重建算法，可以发现：
(1)从模型类型来看，基于CNN的方法仍然是目前基于深度学习的遥感图像超分辨率重建中的主流方法，但也有少部分学者将其他的深度模型应用于遥感图像的超分辨率重建中。
(2)从单幅遥感图像重建方法及其效果来看，基于GAN的方法可以取得目前最好的重建效果，这与在自然图像上的方法结果是一致的。
(3)对于多幅遥感图像超分辨率重建而言，需要考虑图像配准和融合等额外问题，所以重建模型会比较大，并且目前基于深度学习的多幅遥感图像超分辨率重建方法较少，主要都是针对单幅遥感图像重建的方法。
(4)对于多/高光谱遥感图像超分辨率重建的情况，性能最好的方法是同时注意提高空间分辨率和光谱分辨率，而不是像早期的方法那样只是独立地考虑光谱通道。
(5)大部分的基于深度学习的遥感图像超分辨率重建网络使用的是L1和L2损失函数，这两个损失函数都是基于像素差异。对于多/高光谱遥感图像进行光谱分辨率重建时，需要设计合适的光谱信息损失函数，这样才能生成高质量的多/高光谱遥感图像。
遥感图像的超分辨率重建是近几年来计算机视觉和图像处理领域的研究热点，具有重要的研究意义和应用价值。在农业遥感领域[36]，可以利用遥感技术进行种植土地分析、农业资源调查等。在生态环境和应急管理领域，可以通过超分辨率遥感图像检测大气污染、监测生态红线、获取灾情信息等。在公共安全领域，可以利用超分辨率遥感图像进行目标检测[37]、目标识别[38-39]和目标跟踪等。遥感图像超分辨率重建相关技术的发展和成熟，全面促进了其在各个计算机视觉领域的深入应用[40-44]，同时也给未来的研究工作提出了更高更新的要求。结合目前基于深度学习的遥感图像超分辨率重建方法中存在的不足[45-48]，认为基于深度学习的遥感图像超分辨率重建方法未来还可以从以下几个方面着手进行深入研究。
(1)研究针对遥感图像特点的神经网络结构。尽管现有基于深度学习的遥感图像超分辨率重建方法已经取得了不错成果，但是遥感图像具有尺度多样性、视角特殊性、多方向和背景复杂度高等特点，所以如何利用现有技术(如注意力机制、多尺度特征融合、强化学习等)构建更高效的和适应遥感图像特点的超分辨率网络仍然是一个值得探索的问题。
(2)研究无监督学习的遥感图像超分辨率重建方法。遥感图像在同一场景下的不同分辨率的图像很难获取，所以缺乏训练样本，而且目前主要的研究是有监督的遥感图像超分辨率重建方法，但是有监督学习的超分辨率重建方法训练出来的模型不能很好地应对一些实际场景的超分辨率重建任务，所以无监督的遥感图像超分辨率重建模型具有重要的研究价值。
(3)研究多源遥感图像的超分辨率重建方法。融合同一场景不同传感器的图像信息(包括空间信息、时间信息、光谱信息和位置信息等)，目前基于深度学习的遥感图像超分辨率重建方法中，大多只是根据一种信息来进行重建，模型学习到的信息较少，重建效果有限，所以研究多源遥感图像信息的融合问题，充分挖掘这些互补信息，以提高遥感图像重建效果,这也是未来一个十分重要的研究方向。
猜你喜欢 光谱分辨率深度 基于三维Saab变换的高光谱图像压缩方法北京航空航天大学学报(2022年8期)2022-08-31煤炭矿区耕地土壤有机质无人机高光谱遥感估测农业工程学报(2022年8期)2022-08-08四增四减 深度推进快乐学习报·教育周刊(2022年16期)2022-05-01深度思考之不等式新高考·高三数学(2022年3期)2022-04-28基于3D-CNN的高光谱遥感图像分类算法黑龙江大学自然科学学报(2022年1期)2022-03-29我国科学家发明计算超分辨图像重建算法拓展荧光显微镜分辨率极限河南科技(2021年35期)2021-04-25简约教学 深度学习福建基础教育研究(2019年6期)2019-05-28ARM发布显示控制器新品重点强化对分辨率的支持CHIP新电脑(2016年3期)2016-03-10从600dpi到9600dpi微型计算机(2009年4期)2009-12-23锐化与显示器分辨率数码摄影(2009年12期)2009-12-07本文来源：http://www.zhangdahai.com/shiyongfanwen/qitafanwen/2023/0430/591677.html
