引 en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

基于RFA-LinkNet模型的高分遥感影像水体提取

  • 康健1

    机 构：

    1. 南京信息工程大学 遥感与测绘工程学院,南京, 210044

    ×
  • ，管海燕1

    机 构：

    1. 南京信息工程大学 遥感与测绘工程学院,南京, 210044

    ×
  • ，于永涛2

    机 构：

    2. 淮阴工学院 计算机与软件工程学院,淮安, 223003

    ×
  • ，景庄伟3

    机 构：

    3. 上海航天电子技术研究所,上海, 201109

    ×
  • ，刘超2

    机 构：

    2. 淮阴工学院 计算机与软件工程学院,淮安, 223003

    ×
  • ，高俊勇2

    机 构：

    2. 淮阴工学院 计算机与软件工程学院,淮安, 223003

    ×

1. 南京信息工程大学 遥感与测绘工程学院,南京, 210044；
2. 淮阴工学院 计算机与软件工程学院,淮安, 223003；
3. 上海航天电子技术研究所,上海, 201109；

RFA-LinkNet:a novel deep learning network for water body extraction from high-resolution remote sensing images

  • KANG Jian1

    Affiliation：

    1. School of Remote Sensing & Geomatics Engineering,Nanjing University of Information Science & Technology,Nanjing 210044

    ×
  • ，GUAN Haiyan1

    Affiliation：

    1. School of Remote Sensing & Geomatics Engineering,Nanjing University of Information Science & Technology,Nanjing 210044

    ×
  • ，YU Yongtao2

    Affiliation：

    2. School of Computer and Software Engineering,Huaiyin Institute of Technology,Huaiyin 223003

    ×
  • ，JING Zhuangwei3

    Affiliation：

    3. Shanghai Aerospace Electronics Research Institute,Shanghai 201109

    ×
  • ，LIU Chao2

    Affiliation：

    2. School of Computer and Software Engineering,Huaiyin Institute of Technology,Huaiyin 223003

    ×
  • ，GAO Junyong2

    Affiliation：

    2. School of Computer and Software Engineering,Huaiyin Institute of Technology,Huaiyin 223003

    ×

1. School of Remote Sensing & Geomatics Engineering,Nanjing University of Information Science & Technology,Nanjing 210044；
2. School of Computer and Software Engineering,Huaiyin Institute of Technology,Huaiyin 223003；
3. Shanghai Aerospace Electronics Research Institute,Shanghai 201109；

作者简介:

康健,男,硕士生,研究方向为遥感影像语义分割.20191235005@nuist.cn

通讯作者:

管海燕,女,博士,教授,研究方向为点云、遥感影像数据智能处理.guanhy.nj@nuist.edu.cn

中图分类号:TP79

文献标识码:A

DOI:10.13878/j.cnki.jnuist.2023.02.004

参考文献 1
Liu H,Zheng L,Jiang L,et al.Forty-year water body changes in Poyang Lake and the ecological impacts based on Landsat and HJ-1 A/B observations[J].Journal of Hydrology,2020,589:125161
查找原文
参考文献 2
Li L W,Yan Z,Shen Q,et al.Water body extraction from very high spatial resolution remote sensing data based on fully convolutional networks[J].Remote Sensing,2019,11(10):1162
查找原文
参考文献 3
McFeeters S K.The use of the normalized difference water index(NDWI)in the delineation of open water features[J].International Journal of Remote Sensing,1996,17(7):1425-1432
查找原文
参考文献 4
徐涵秋.利用改进的归一化差异水体指数(MNDWI)提取水体信息的研究[J].遥感学报,2005,9(5):589-595;XU Hanqiu.A study on information extraction of water body with the modified normalized difference water index(MNDWI)[J].Journal of Remote Sensing,2005,9(5):589-595
查找原文
参考文献 5
Elmi O,Tourian M J,Sneeuw N.Dynamic river masks from multi-temporal satellite imagery:an automatic algorithm using graph cuts optimization[J].Remote Sensing,2016,8(12):1005
查找原文
参考文献 6
李文萍,王伟,高星,等.融合面向对象和分水岭算法的山地湖泊提取方法[J].地球信息科学学报,2021,23(7):1272-1285;LI Wenping,WANG Wei,GAO Xing,et al.A lake extraction method in mountainous regions based on the integration of object-oriented approach and watershed algorithm[J].Journal of Geo-Information Science,2021,23(7):1272-1285
查找原文
参考文献 7
Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554
查找原文
参考文献 8
Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651
查找原文
参考文献 9
何海清,杜敬,陈婷,等.结合水体指数与卷积神经网络的遥感水体提取[J].遥感信息,2017,32(5):82-86;HE Haiqing,DU Jing,CHEN Ting,et al.Remote sensing image water body extraction combing NDWI with convolutional neural network[J].Remote Sensing Information,2017,32(5):82-86
查找原文
参考文献 10
Isikdogan F,Bovik A C,Passalacqua P.Surface water mapping by deep learning[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2017,10(11):4909-4918
查找原文
参考文献 11
王雪,隋立春,钟棉卿,等.全卷积神经网络用于遥感影像水体提取[J].测绘通报,2018(6):41-45;WANG Xue,SUI Lichun,ZHONG Mianqing,et al.Fully convolution neural networks for water extraction of remote sensing images[J].Bulletin of Surveying and Mapping,2018(6):41-45
查找原文
参考文献 12
何红术,黄晓霞,李红旮,等.基于改进U-Net网络的高分遥感影像水体提取[J].地球信息科学学报,2020,22(10):2010-2022;HE Hongshu,HUANG Xiaoxia,LI Hongga,et al.Water body extraction of high resolution remote sensing image based on improved U-net network[J].Journal of Geo-Information Science,2020,22(10):2010-2022
查找原文
参考文献 13
Chaurasia A,Culurciello E.LinkNet:exploiting encoder representations for efficient semantic segmentation[C]//2017 IEEE Visual Communications and Image Processing.December 10-13,2017,St.Petersburg,FL,USA.IEEE,2017:1-4
查找原文
参考文献 14
He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778
查找原文
参考文献 15
Wang P Q,Chen P F,Yuan Y,et al.Understanding convolution for semantic segmentation[C]//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision.Washington D.C.,USA:IEEE Press,2018:1451-1460
查找原文
参考文献 16
Liu S T,Huang D,Wang Y H.Receptive field block net for accurate and fast object detection[C]//2018 Proceedings of the European Conference on Computer Vision,2018:404-419
查找原文
参考文献 17
Chen L C,Papandreou G,Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4):834-848
查找原文
参考文献 18
Yang M K,Yu K,Zhang C,et al.DenseASPP for semantic segmentation in street scenes[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23,2018,Salt Lake City,UT,USA.IEEE,2018:3684-3692
查找原文
参考文献 19
Ronneberger O,Fischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[C]//2015 Proceedings of the Medical Image Computing and Computer Assisted Intervention,2015:234-241
查找原文
参考文献 20
Badrinarayanan V,Kendall A,Cipolla R.SegNet:a deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495
查找原文
参考文献 21
Zhao H S,Shi J P,Qi X J,et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:6230-6239
查找原文
参考文献 22
Chen L C,Zhu Y K,Papandreou G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//2018 Proceedings of the European Conference on Computer Vision,2018:833-851
查找原文
参考文献 23
Fu J,Liu J,Tian H J,et al.Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 15-20,2019,Long Beach,CA,USA.IEEE,2019:3141-3149
查找原文
参考文献 24
Chollet F.Xception:deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:1800-1807
查找原文
目录contents

    摘要

    针对现阶段卷积神经网络模型在复杂地物背景下水体提取精度低、多尺度特征捕获能力差、模型复杂的问题,基于LinkNet模型提出一种结合RFB模块和通道注意力机制的RFA-LinkNet高分辨率光学遥感影像水体提取模型.首先,将RFB模块用于获取高阶水体语义信息与多尺度特征;其次,利用通道注意力机制,对特征编码和解码的特征进行加权融合,抑制背景特征,增强水体语义.与现有卷积神经网络模型相比,提出方法不仅具有高效的性能和鲁棒性,而且能实现高精度的水体提取.

    Abstract

    The Convolutional Neural Network (CNN) has unsatisfactory performance in water body extraction from high-resolution optical remote sensing images with complex background,which is low in accuracy,unable to capture multi-scale features,and complex in model structure.Here,we propose an RFA-LinkNet (Receptive Field Attention LinkNet) approach combining Receptive Field Block (RFB) and Channel Attention Block (CAB),from which the high-level water body semantic information and multi-scale feature map can be obtained by RFB,then the CAB is used to realize the weighted fusion of encoding and decoding features,to suppress background features as well as enhance water body semantics.Compared with state-of-the-art CNN models,the proposed RFA-LinkNet can extract water body information from high-resolution optical remote sensing images more efficiently and robustly with high precision.

  • 0 引言

  • 水资源在人类社会发展和地球能量循环过程中起着重要作用.因此，研究水体的时空分布，精确识别水体，对于水资源的管理和监测、城市规划、环境保护和防洪减灾[1-2]具有重要意义.特别是从光学遥感影像中识别水体获得了广泛关注.

  • 当前，从光学遥感影像中提取水体主要分为传统方法和基于卷积神经网络的方法.前者包括单/自适应阈值法、基于样本特征和人工先验知识的机器学习法以及基于地物光谱差异的面向对象法.文献[3]提出归一化差异水体指数（Normalized Difference Water Index，NDWI），可减少背景影响，有效提取水体; 文献[4]提出改进的归一化差异水体指数（Modified NDWI，MNDWI）有效解决了阴影对于水体提取的影响; 文献[5]结合相邻像素间的空间相关性、像素强度等多特征，利用马尔可夫随机场算法精确提取水体信息并监测其面积; 文献[6]提出了面向对象的分水岭算法，实现了山地湖泊水体信息的提取.这些传统水体提取方法虽然能有效获得水体信息，但水体提取结果存在椒盐噪声，且受环境影响严重，难以实现大规模自动提取水体.

  • 近年来，深度学习发展迅速，其中卷积神经网络（Convolutional Neural Network，CNN）[7]凭借强大特征学习能力被广泛应用于图像分类、目标检测等领域.特别是全卷积神经网络（Fully Convolutional Networks，FCN）[8]的提出，克服了以往网络中存在全连接层对于特征图空间信息的破坏，实现了图像的像素级端到端特征提取.文献[9]联合CNN模型与NDWI，同时结合水体光谱和空间信息，显著提高了水体提取精度; 文献[10]提出了DeepWaterMap模型，将水体从复杂环境中提取出来.由于受限于Landsat影像空间分辨率，从而对精细水体提取效果不显著.文献[11]提出了VGG-FCN模型迁移学习的水体提取方法，并将其与传统的阈值法和CrabCut算法进行分析比较，实验表明基于CNN模型的水体提取算法具有自动化程度高和水体提取精度高等优点; 文献[12]基于改进的UNet模型，结合条件随机场算法实现了GF-2影像的水体的提取.当前基于卷积神经网络的方法，虽然能有效提取水体信息，但由于水体的大小、形状、纹理复杂多样，且地域分布差异明显，因而从高分遥感影像中高效、精确提取水体，特别是复杂地物背景下的多尺度水体依然有一定难度.另外，基于经典语义分割的网络模型参数量大、收敛缓慢、计算效能低.

  • 针对现阶段卷积神经网络模型在复杂地物背景下水体提取精度低、多尺度特征提取能力差、模型复杂和计算效能低的问题，本文基于LinkNet模型，提出了一种结合RFB（Receptive Field Block）模块和通道注意力机制的Receptive Field Attention LinkNet（RFA-LinkNet）高分遥感影像水体识别模型.首先，基于RFB模块获取高阶水体语义信息与多尺度特征; 其次，利用通道注意力机制，对LinkNet模型的编码和解码器特征进行加权融合，从而抑制背景噪声，增强水体特征显著性.与现有卷积神经网络模型分析对比，实验表明本文方法能够实现高效、高精度水体提取.

  • 1 水体提取模型框架

  • 1.1 RFA-LinkNet水体提取模型

  • 本文提出的RFA-LinkNet水体提取模型基于经典的LinkNet模型[13]，如图1a所示.LinkNet模型采用特征编码-解码结构:特征编码部分主要由3个3×3的初始卷积层和4个特征编码层组成.特征编码层通过残差块[14]和池化操作提取目标语义特征，生成特征图，并减小特征图大小.800×800尺寸的RGB影像经过初始卷积层后，变为具有64个通道、400×400大小的特征图，再经过4个特征编码层后特征图大小依次变为200×200、100×100、100×100、50×50，通道数变为64、128、256、512，其中残差块结构如图1b所示.

  • 特征解码部分由4个反卷积块和1个末端输出卷积层构成，反卷积块结构如图1c所示.经过4个反卷积块后，25×25×512的特征图尺寸大小依次变为50×50、100×100、200×200、400×400，通道数分别变为256、128、64、64.最后经过输出卷积层生成800×800×1的水体概率分布图.其中，特征编码和解码两部分，采用逐像素相加的方式进行特征融合.

  • 特征编码部分经过多次卷积和池化操作，可以生成具有丰富全局信息和语义特征的高阶特征图.因此，本文在LinkNet网络的基础上，首先，引入RFB模块来增大感受野，增强多尺度水体信息的获取能力，抑制背景特征，实现高阶水体语义特征的提取.其次，利用通道注意力机制对各特征编码层生成的特征图进行通道加权，降低无关特征的干扰，增强不同尺度特征图中的水体语义特征，提高水体提取精度.

  • 图1 RFA-LinkNet网络结构

  • Fig.1 Architecture of the proposed RFA-LinkNet

  • 1.2 RFB模块

  • 光学遥感影像中的水体时空分布多样、形状和纹理差异明显，特别是在高空分辨的光学遥感影像中水体与背景的边缘纹理特征、细节信息丰富，对精确水体提取构成挑战.在常规的卷积神经中，网络通过堆叠卷积层增大感受，获取不同尺度上的特征.然而，在固定大小的卷积核生成的高阶特征图中，存在大量无关背景特征，会影响目标特征的提取.空洞卷积[15]引入扩张率，在卷积核之间填充0，增大感受野，捕获多尺度特征的同时未增加参数量.空洞卷积等效感受野的计算公式如下:

  • K=Ksize +Ksize -1⋅Rrate-1,
    (1)

  • 其中，K为空洞卷积的等效卷积核大小，Ksize为空洞卷积的卷积核大小，Rrate为扩张率大小.如图2所示扩张率分别为1、3、5的3×3卷积.

  • 输入的影像经过LinkNet模型的特征编码，可获得大量特征信息，其中无关的背景特征会影响水体语义特征的提取.因此，本文引入RFB模块进一步获得丰富的多尺度水体信息，抑制非水体特征，实现高阶水体语义特征提取.RFB模块模拟人类视觉感受野，加强多尺度特征提取能力，被广泛地应用于目标检测领域[16].

  • 本文构建的高阶特征提取RFB模块，其结构如图3所示.首先，应用1×1的卷积层对输入特征图进行通道降维; 然后，将降维的特征图分别输入到含有空洞卷积的4个分支中，在扩张率为1、3、5的3×3空洞卷积层前，使用了3×1和1×3的非对称卷积减小参数; 其次，利用1×1的卷积对4个分支生成的多尺度特征进行聚合; 最后，将初始多尺度特征与原始特征进行深层次融合，完成多尺度特征的提取，增强高阶水体语义信息.

  • 1.3 通道注意力机制

  • 特征编码过程中，特征图尺寸大小减半，同时特征图通道数在增加，含有目标特征的通道对目标语义特征表达有益，不含目标特征的通道则不利于特征表达.LinkNet模型中将编码和解码特征简单地进行逐像素相加，缺乏对于无关特征的抑制，不能准确提取目标特征.因此，本文引入通道注意力机制来增强水体特征，通过对特征编码阶段生成的特征图各通道间相互关系建模，增强水体语义特征的表达.首先，通过两个池化层对输入特征图压缩，同时捕获全局语义特征; 然后，在通道维度对语义特征分组卷积，依据语义特征建立通道间的相互关系; 最后，按通道间的相互关系对输入语义特征进行加权，实现水体语义特征的增强.

  • 本文中构建的通道注意力机制如图4所示，假设输入的特征图为FC×H×Win，其中C，H和W分别为通道数、高度和宽度.首先，利用全局平均池化（AvgPooling）和全局最大池化（MaxPooling）在行、列维度上聚合语义特征，生成FC×1×1Avg和FC×1×1max.为了突出特征图通道间相关性，对FC×1×1Avg 和FC×1×1max 进行分组卷积，生成具有语义权重分布的特征图，并将两分支的特征图元素求和合并.接着，利用Sigmoid激活函数将融合后的通道权重特征图映射到[0，1]，得到具有强语义特征表达的通道权重，即通道注意力fCW.最后通过通道注意力对输入特征图进行通道加权，生成具有强语义特征的特征图FC×H×Wout.在水体识别任务中，通道注意力机制将特征编码和解码两部分连接，有效增强水体语义特征表达，抑制无关背景特征，有利于提高水体识别精度.具体计算过程如下:

  • FC×1×1Avg=Avg⁡ Pooling FC×H×Win,
    (2)
  • FC×1×1max=MaxPooling⁡FC×H×Win,
    (3)

  • 图2 3×3的空洞卷积

  • Fig.2 Illustrations of 3×3 dilated convolution kernels with dilatation rates of 1, 3, and 5

  • 图3 RFB模块结构

  • Fig.3 Architecture of the RFB unit

  • fCW=σC o n v⁡fReLUConv⁡FC×1×1Avg+Conv⁡fReLUConv⁡FC×1×1max,
    (4)
  • FC×H×Wout =fCW⊗FC×H×Win,
    (5)

  • 其中，fCW为通道权重，Conv为1×1的卷积操作，fReLU为ReLU激活函数，σ为Sigmoid函数，⊗表示元素点乘，FC×H×Wout 和FC×H×Win分别表示输出和输入特征图.

  • 2 实验分析

  • 2.1 实验数据集与超参数设置

  • 本实验的高分遥感数据利用BIGEMAP软件（http://www.bigemap.com）从谷歌地球服务获得.该数据集总共4 500张800×800大小包含水体的影像，影像空间分辨率为1~2 m.利用Labelme软件对影像中的水体进行了像素水平精细标注，最后生成了只有水体和非水体的二值掩码图，部分样本如图5所示.

  • 图4 通道注意力机制

  • Fig.4 Channel attention mechanism unit

  • 图5 水体识别样本

  • Fig.5 Samples of water body extraction

  • 受限于样本数量，将样本按照8∶2比例，随机从总样本影像中选出3 600张作为训练数据，900张作为测试数据.在训练过程中，使用随机水平、垂直翻转、变换亮度、对比度、饱和度、图像标准化和归一化的线上数据扩充策略，增强模型学习能力，减少过拟合.

  • 该实验环境为一台Inter（R）CoreTMi9-9820X，10核3.30 GHz的CPU、两张NVIDIA RTX 2080Ti（11 GB）显卡，以及64 GB内存的工作站.本实验涉及所有网络模型都是基于Python 3.7.4 编程语言和Pytorch 1.8.1深度学习框架，采用Adam优化器和二元交叉熵损失函数优化网络，kaiming正态分布初始化卷积层参数.训练时，批量大小设为2，学习率设为0.000 5，训练周期为50.这些参数都经多次实验得出.为了比较公平性，所有提及网络都采用相同超参数训练，并保存训练集上性能表现最好的模型权重参数.

  • 2.2 评价指标

  • 本文使用基于像素的精度评价指标来定量评估水体提取精度，主要包括整体精度（OA）、错分误差（CE）、漏分误差（OE）、均交并比（mIoU）以及F1分数（F1-Score），其计算公式如下:

  • OA=TP+TNTP+TN+FP+FN×100%
    (6)
  • CE=1-TPTP+FP×100%,
    (7)
  • OE=1-TPTP+FN×100%
    (8)
  • mIoU=1n+1∑i=0n TPTP+FP+FN×100%,
    (9)
  • F1-Score=2×TP2TP+FP+FN×100%
    (10)

  • 其中:TP表示正确识别为水体像素的数量; FP表示错误识别为水体像素的数量; FN表示错误识别为非水体像素的数量; TN表示正确识别为非水体的像素的数量.OA、mIoU、F1-Score用来整体评价水体提取的精度，CE和OE用来评价水体提取的误差程度.

  • 2.3 有效性分析

  • 为了细致分析模型中各模块的有效性，以LinkNet模型为基础，分别与RFB模块和通道注意力机制结合构建了LinkNet+注意力机制、LinkNet+RFB模块两个对比模型.在计算机视觉领域，空洞空间金字塔池化模块（Atrous Spatial Pyramid Pooling，ASPP）[17]、密集空洞空间金字塔池化（Densely Connected Atrous Spatial Pyramid Pooling，DenseASPP）[18]模块与RFB模块结构相似，都是通过多分支空洞卷积增大感受野，捕获并融合多尺度特征，来提高语义分割精度，已经被广泛地应用于遥感影像自动解译.因此，基于本文提出的模型，将其中的RFB模块进行替换，构建LinkNet+注意力机制+ASPP模块和LinkNet+注意力机制+DenseASPP模块两个模型，全面分析本文提出模型.最后，共构建了5个模型与本文提出方法进行了对比，在测试集上水体提取的定量精度如表1所示.

  • 从表1可以知，本文提出的RFA-LinkNet模型，在OA、mIoU和F1-Score三个精度评价指标上分别达到96.27%、91.30%和93.42%，高于构建的对比模型.相比于LinkNet+RFB模块，精度提高不明显，这是因为在整个网络模型中，深层卷积层生成的特征图相对浅层而言，含有丰富的高阶水体语义信息，因此增强高阶语义特征提取更有利于精确水体识别.从CE评价指标来看，RFA-LinkNet模型最低，仅为9.34%，表明RFB模块与通道注意力机制的组合对于提高水体识别精度有显著作用.但是在OE指标上，RFA-LinkNet模型表现并非最好，为3.64%，主要是因为通道注意力机制从行、列维度上聚合特征，生成通道注意力时破坏了相应特征图的空间结构，丢失了空间信息，增加了部分影像水体提取的误差.

  • 从测试集中选取了包含人工建筑、光谱变化、多尺度水体以及自然植被分布的影像，这些典型影像都对精确水体提取构成了一定挑战.为了直观形象比较，将测试影像经过网络模型生成的水体提取概率制成热力图展示，如图6所示.其中第一、第二列展示了原始影像以及融合标签的掩码图，影像中蓝色到红色分别表示是像素识别为水体的概率从低到高，对比第一、第二行的影像可发现本文提出的RFA-LinkNet模型，借助于RFB模块与通道注意力机制更能凸显水体语义特征，抑制无关背景特征.第三、第四行影像清楚显示了提出的RFA-LinkNet模型对于多尺度水体提取有显著优势，同时能有效改善水体边界.

  • 结合表1水体识别的定量精度指标和图6展示的典型地物下水体提取热力图，可知在LinkNet模型的基础上，结合高阶特征提取RFB模块和通道注意力机制构建的RFA-LinkNet模型极大提高了水体提取精度.

  • 表1 不同模块组合模型的水体提取结果

  • Table1 Water body extraction results by different CNNs

  • 图6 水体特征信息热力图

  • Fig.6 Heat maps of water body feature information

  • 2.4 对比实验

  • 本文进一步将提出的RFA-LinkNet模型与当前主流的语义分割CNN算法模型进行了比较，包括编码-解码结构的UNet[19]、SegNet[20]、LinkNet[13]、多尺度的PSPNet[21]、DeepLabv3+[22]、注意力机制的DANet[23].其中，DeepLabv3+模型利用Xception[24]网络结构进行下采样特征提取，受限于输入影像大小，PSPNet和DANet模型中用ResNet34替换了ResNet50-Dilated网络进行下采样，双线性插值上采样.在测试集上水体提取的定量精度如表2所示.

  • 从表2可看出本文提出的RFA-LinkNet模型，在OA、mIoU和F1-Score三个精度评价指标上分别达到了96.27%、91.30%和93.42%，远高于其他CNN模型.从CE指标来看，RFA-LinkNet模型的错分误差最低，仅为9.34%，远低于其余6种对比模型.RFA-LinkNet和DANet模型中都使用了通道注意力机制，因此，生成水体特征通道注意力时，破坏了特征图的空间结构，造成部分空间信息的丢失，所以在测试集上的OE指标分别为3.64%和4.16%，高于其余5种无注意力机制的全卷积CNN模型.

  • 表2 不同CNN模型的水体提取结果

  • Table2 Water body extraction results by different CNNs

  • 图7展示了部分测试影像的水体提取效果.在图7的第一、第二行的测试影像中水体与道路、植被相互交错，经过RFA-LinkNet模型识别的水体与掩码标签最为接近，特别是在#1、#2和#3区域; 从第三行影像整体以及#4和#5区域的细节，可以明显看出RFA-LinkNet模型的水体提取精度更高; 比较第四、第五行的影像，可清晰看出在有人工建筑物、斑状和细长的多尺度水体分布的影像中，RFA-LinkNet模型的水体提取效果显著.特别是在区域#6、#7、#8中，对于水体边界的保留，效果更显著.

  • 为了更全面地分析本文RFA-LinkNet模型的计算效能，从训练、测试时间以及模型参数三方面进行了比较，如表3所示.从表3中可以发现RFA-LinkNet模型单个训练周期时间为15 min，完成全部测试影像水体提取用时66.8 s，相对于水体提取精度次优的UNet模型分别降低了14 min和40.1 s; 相比于时间次优的DeepLabv3+仍然分别减小了9 min和27.8 s.在模型的整体参数量方面，RFA-LinkNet模型只有23.19 MB，与UNet、DANet相比分别降低了7.84 MB和2.53 MB，表明本文方法具有很高的计算效能.

  • 表3 模型计算效能比较

  • Table3 Comparison of model computing efficiency

  • 3 结语

  • 本文基于LinkNet网络模型提出了一种结合RFB模块和通道注意力机制的RFA-LinkNet高分遥感影像水体提取模型.所提模型对高分辨率的谷歌影像的数据集进行了水体提取实验，实验结果表明:RFA-LinkNet模型相较于SegNet、DANet、PSPNet、DeepLabv3+、Unet以及LinkNet，不仅在OA、mIoU以及F1-Score三个精度评价指标上分别取得了96.27%、91.30%、93.42%的精度，在CE指标上最低，仅为9.34%，而且具有高的计算效能.RFA-LinkNet模型在人工建筑、光谱变化、多尺度水体以及自然植被分布复杂背景地物的影像中对于水体精确的提取以及边界细节的保留具有明显优势.

  • 图7 不同网络水体提取结果

  • Fig.7 Visual comparison of water body extractions by different CNN models

  • 参考文献

    • [1] Liu H,Zheng L,Jiang L,et al.Forty-year water body changes in Poyang Lake and the ecological impacts based on Landsat and HJ-1 A/B observations[J].Journal of Hydrology,2020,589:125161

    • [2] Li L W,Yan Z,Shen Q,et al.Water body extraction from very high spatial resolution remote sensing data based on fully convolutional networks[J].Remote Sensing,2019,11(10):1162

    • [3] McFeeters S K.The use of the normalized difference water index(NDWI)in the delineation of open water features[J].International Journal of Remote Sensing,1996,17(7):1425-1432

    • [4] 徐涵秋.利用改进的归一化差异水体指数(MNDWI)提取水体信息的研究[J].遥感学报,2005,9(5):589-595;XU Hanqiu.A study on information extraction of water body with the modified normalized difference water index(MNDWI)[J].Journal of Remote Sensing,2005,9(5):589-595

    • [5] Elmi O,Tourian M J,Sneeuw N.Dynamic river masks from multi-temporal satellite imagery:an automatic algorithm using graph cuts optimization[J].Remote Sensing,2016,8(12):1005

    • [6] 李文萍,王伟,高星,等.融合面向对象和分水岭算法的山地湖泊提取方法[J].地球信息科学学报,2021,23(7):1272-1285;LI Wenping,WANG Wei,GAO Xing,et al.A lake extraction method in mountainous regions based on the integration of object-oriented approach and watershed algorithm[J].Journal of Geo-Information Science,2021,23(7):1272-1285

    • [7] Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554

    • [8] Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651

    • [9] 何海清,杜敬,陈婷,等.结合水体指数与卷积神经网络的遥感水体提取[J].遥感信息,2017,32(5):82-86;HE Haiqing,DU Jing,CHEN Ting,et al.Remote sensing image water body extraction combing NDWI with convolutional neural network[J].Remote Sensing Information,2017,32(5):82-86

    • [10] Isikdogan F,Bovik A C,Passalacqua P.Surface water mapping by deep learning[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2017,10(11):4909-4918

    • [11] 王雪,隋立春,钟棉卿,等.全卷积神经网络用于遥感影像水体提取[J].测绘通报,2018(6):41-45;WANG Xue,SUI Lichun,ZHONG Mianqing,et al.Fully convolution neural networks for water extraction of remote sensing images[J].Bulletin of Surveying and Mapping,2018(6):41-45

    • [12] 何红术,黄晓霞,李红旮,等.基于改进U-Net网络的高分遥感影像水体提取[J].地球信息科学学报,2020,22(10):2010-2022;HE Hongshu,HUANG Xiaoxia,LI Hongga,et al.Water body extraction of high resolution remote sensing image based on improved U-net network[J].Journal of Geo-Information Science,2020,22(10):2010-2022

    • [13] Chaurasia A,Culurciello E.LinkNet:exploiting encoder representations for efficient semantic segmentation[C]//2017 IEEE Visual Communications and Image Processing.December 10-13,2017,St.Petersburg,FL,USA.IEEE,2017:1-4

    • [14] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778

    • [15] Wang P Q,Chen P F,Yuan Y,et al.Understanding convolution for semantic segmentation[C]//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision.Washington D.C.,USA:IEEE Press,2018:1451-1460

    • [16] Liu S T,Huang D,Wang Y H.Receptive field block net for accurate and fast object detection[C]//2018 Proceedings of the European Conference on Computer Vision,2018:404-419

    • [17] Chen L C,Papandreou G,Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4):834-848

    • [18] Yang M K,Yu K,Zhang C,et al.DenseASPP for semantic segmentation in street scenes[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23,2018,Salt Lake City,UT,USA.IEEE,2018:3684-3692

    • [19] Ronneberger O,Fischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[C]//2015 Proceedings of the Medical Image Computing and Computer Assisted Intervention,2015:234-241

    • [20] Badrinarayanan V,Kendall A,Cipolla R.SegNet:a deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495

    • [21] Zhao H S,Shi J P,Qi X J,et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:6230-6239

    • [22] Chen L C,Zhu Y K,Papandreou G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//2018 Proceedings of the European Conference on Computer Vision,2018:833-851

    • [23] Fu J,Liu J,Tian H J,et al.Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 15-20,2019,Long Beach,CA,USA.IEEE,2019:3141-3149

    • [24] Chollet F.Xception:deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:1800-1807

  • 基本信息

    中图分类号: TP79
    文献标识码: A
    DOI: 10.13878/j.cnki.jnuist.2023.02.004

    基金信息

    国家自然科学基金(41971414,62076107)；
    江苏省研究生科研与实践创新计划(KYCX20_0976)；

    引用信息

    稿件历史

    收稿日期: 2022-01-02

  • 参考文献

    • [1] Liu H,Zheng L,Jiang L,et al.Forty-year water body changes in Poyang Lake and the ecological impacts based on Landsat and HJ-1 A/B observations[J].Journal of Hydrology,2020,589:125161

    • [2] Li L W,Yan Z,Shen Q,et al.Water body extraction from very high spatial resolution remote sensing data based on fully convolutional networks[J].Remote Sensing,2019,11(10):1162

    • [3] McFeeters S K.The use of the normalized difference water index(NDWI)in the delineation of open water features[J].International Journal of Remote Sensing,1996,17(7):1425-1432

    • [4] 徐涵秋.利用改进的归一化差异水体指数(MNDWI)提取水体信息的研究[J].遥感学报,2005,9(5):589-595;XU Hanqiu.A study on information extraction of water body with the modified normalized difference water index(MNDWI)[J].Journal of Remote Sensing,2005,9(5):589-595

    • [5] Elmi O,Tourian M J,Sneeuw N.Dynamic river masks from multi-temporal satellite imagery:an automatic algorithm using graph cuts optimization[J].Remote Sensing,2016,8(12):1005

    • [6] 李文萍,王伟,高星,等.融合面向对象和分水岭算法的山地湖泊提取方法[J].地球信息科学学报,2021,23(7):1272-1285;LI Wenping,WANG Wei,GAO Xing,et al.A lake extraction method in mountainous regions based on the integration of object-oriented approach and watershed algorithm[J].Journal of Geo-Information Science,2021,23(7):1272-1285

    • [7] Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554

    • [8] Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651

    • [9] 何海清,杜敬,陈婷,等.结合水体指数与卷积神经网络的遥感水体提取[J].遥感信息,2017,32(5):82-86;HE Haiqing,DU Jing,CHEN Ting,et al.Remote sensing image water body extraction combing NDWI with convolutional neural network[J].Remote Sensing Information,2017,32(5):82-86

    • [10] Isikdogan F,Bovik A C,Passalacqua P.Surface water mapping by deep learning[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2017,10(11):4909-4918

    • [11] 王雪,隋立春,钟棉卿,等.全卷积神经网络用于遥感影像水体提取[J].测绘通报,2018(6):41-45;WANG Xue,SUI Lichun,ZHONG Mianqing,et al.Fully convolution neural networks for water extraction of remote sensing images[J].Bulletin of Surveying and Mapping,2018(6):41-45

    • [12] 何红术,黄晓霞,李红旮,等.基于改进U-Net网络的高分遥感影像水体提取[J].地球信息科学学报,2020,22(10):2010-2022;HE Hongshu,HUANG Xiaoxia,LI Hongga,et al.Water body extraction of high resolution remote sensing image based on improved U-net network[J].Journal of Geo-Information Science,2020,22(10):2010-2022

    • [13] Chaurasia A,Culurciello E.LinkNet:exploiting encoder representations for efficient semantic segmentation[C]//2017 IEEE Visual Communications and Image Processing.December 10-13,2017,St.Petersburg,FL,USA.IEEE,2017:1-4

    • [14] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778

    • [15] Wang P Q,Chen P F,Yuan Y,et al.Understanding convolution for semantic segmentation[C]//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision.Washington D.C.,USA:IEEE Press,2018:1451-1460

    • [16] Liu S T,Huang D,Wang Y H.Receptive field block net for accurate and fast object detection[C]//2018 Proceedings of the European Conference on Computer Vision,2018:404-419

    • [17] Chen L C,Papandreou G,Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4):834-848

    • [18] Yang M K,Yu K,Zhang C,et al.DenseASPP for semantic segmentation in street scenes[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23,2018,Salt Lake City,UT,USA.IEEE,2018:3684-3692

    • [19] Ronneberger O,Fischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[C]//2015 Proceedings of the Medical Image Computing and Computer Assisted Intervention,2015:234-241

    • [20] Badrinarayanan V,Kendall A,Cipolla R.SegNet:a deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495

    • [21] Zhao H S,Shi J P,Qi X J,et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:6230-6239

    • [22] Chen L C,Zhu Y K,Papandreou G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//2018 Proceedings of the European Conference on Computer Vision,2018:833-851

    • [23] Fu J,Liu J,Tian H J,et al.Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 15-20,2019,Long Beach,CA,USA.IEEE,2019:3141-3149

    • [24] Chollet F.Xception:deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:1800-1807

    • 地址：江苏省南京市宁六路219号    邮编：210044

    联系电话：025-58731025    E-mail：nxdxb@nuist.edu.cn

    南京信息工程大学学报 ® 2024 版权所有  技术支持：北京勤云科技发展有限公司