0 引言

高光谱图像包含丰富的空间和光谱信息．高光谱图像分类就是确定每个像素所属类别，且高光谱图像的分类精度将会影响后续的图像处理工作．在高光谱图像分类研究早期，很多表现出色的机器学习方法获得了较好的分类性能，包括支持向量机^[1]、极限学习机^[2]、基于稀疏表示^[3]以及K最近邻^[4]的方法．由于研究早期基于机器学习的分类网络均为浅层网络，这种网络不足以提取高光谱图像的复杂特征．

近年来，基于深度学习的方法由于其强大的特征处理能力在计算机视觉包括自然语言处理、图像处理以及目标检测领域获得了优异的成绩^[5-8]．Chen等^[9]提出一种堆叠式自动编码器，基于分层思想提取空间和光谱特征．Yu等^[10]提出一种基于卷积神经网络（CNN）的高光谱图像分类方法，通过卷积层合理的卷积滤波器和池化层提取不同层的光谱和空间特征，经多层提取的特征获得了较好的实验结果．为了更充分地提取空间和光谱特征，Chen等^[11]提出一种基于端到端二维卷积神经网络（2DCNN）的高光谱图像分类方法．特别地，高光谱图像自身具备三维数据属性，在对高光谱图像进行处理的过程中，往往将其看作三维数据．因此，Li等^[12]提出一种基于三维卷积神经网络（3DCNN）的高光谱图像分类方法，并提高了类间可分性．值得注意的是，为了改善高光谱图像的分类性能，张建伟等^[13]对众多的空间光谱联合分类方法进行了归类和分析．

在深度学习框架中，基于CNN的网络框架得到广泛的应用．虽然基于CNN的深度学习方法相比于传统的机器学习方法能够较大地改善分类性能，但随着CNN网络的深度逐渐加大，将会出现休斯现象（Hughes）^[14]和网络退化．为了避免这些现象的发生，He等^[15]提出一种残差网络（ResNet），能够有效解决由于网络加深带来的退化问题．该网络通过跳线连接将浅层的特征恒等映射到深层特征，且这种跳线连接并不会带来额外的参数和计算复杂度．为了改善高光谱图像的分类性能，Zhong等^[16]设计了空间残差模块和光谱残差模块来提取图像的空间特征和光谱特征（SSRN），且获得了较好的分类精度，这进一步表明残差结构在高光谱图像分类任务中的有效性．为了加强层与层之间的信息流动性，Huang等^[17]提出一种密集连接网络（DenseNet），一定程度上缓解了梯度消失问题．Roy等^[18]结合3 DCNN和2DCNN，提出一种混合结构（HybridSN）．虽然以上方法在数据样本充足的情况下能够获得较为不错的分类精度，但在小样本下得到的分类性能依然较差．

受人类视觉的启发，一种注意力机制模块被提出，该注意力机制有利于进一步提高分类性能^[19-23]．高光谱图像包含空间和光谱特征，而三维卷积神经网络是同时对图像提取空间和光谱特征．为了避免提取的空间特征和光谱特征相互干扰，Ma等^[24]提出一种双分支多注意力机制网络（DBMA），并在小训练样本下获得了较好的分类精度．为了进一步改善分类性能，Li等^[25]提出一种DBMA的改进网络DBDA，实验结果验证了该网络在小训练样本下的有效性．

然而，实际应用中高光谱图像已知类别的样本依然是十分有限的，还需更加充分地提取高光谱图像的空间和光谱特征，进而获得更优异的分类性能．有鉴于此，本文提出一种基于双池化注意力机制的高光谱图像分类网络（DPAMN）．实验结果表明，本文方法在有限训练样本情况下能够获得较好的分类效果．

本文的贡献主要如下:

1）本文提出一种基于双池化注意力机制网络，用来强调通道之间的相互关系．具体地说，使用全局最大池化和全局平均池化来聚集图像的重要信息，且使用自适应卷积增强通道之间的表示能力．

2）为了缓解梯度消失和梯度退化问题，本文提出一种三维密集连接模块，通过该模块能够提取丰富的特征，且避免了信息的丢失．

3）所提出的双池化注意力机制网络结合了注意力机制模块和3DCNN密集连接模块．注意力机制模块被用来增强重要的信息，且抑制了无用的信息．使用3DCNN密集连接模块充分提取图像的光谱-空间联合信息．

1 基于双池化注意力机制的分类方法

1.1 三维卷积

由于高光谱图像自身数据属性，三维卷积神经网络（3DCNN）比二维卷积神经网络（2DCNN）在高光谱图像分类领域应用更加广泛．此外，2DCNN在提取高光谱图像的空间和光谱过程中会导致像素之间的相关性被破坏，而3DCNN能够更好地保护图像的空间信息，避免造成信息丢失．

图1表示三维卷积过程，输入特征大小为$\mathit{X}\in {\mathbf{R}}^{H\times \mathbb{W}\times L}$（其中，H表示特征图的高度，W表示特征图的宽度，L表示特征图的波段数量），卷积核大小为h×w×l．为保证输出和输入的大小相同，采用的填充操作属性值为SAME，则经过卷积的输出为

式中:i表示的是第i层; $\mathrm{}{v}_{ij}^{xyz}$表示第i层的第j个特征图在（x，y，z）位置上的输出; m表示第i层的神经元个数; $\mathrm{}{k}_{ijm}^{\beta pr}$表示第m个特征图中（p，q，r）的权重; b_ij表示卷积层的偏置项; f（·）表示激活函数; h_i，w_i，b_i分别表示第i层中卷积核高度、宽度以及长度．

1.2 三维密集连接模块

随着网络层数的增加，分类性能可以有效改善，但随着网络逐渐变深，会出现梯度消失和模型退化问题．为此，本设计的分类网络中引入了三维密集连接模块，其结构如图2所示．可以看出，输入通过4个Conv+BN+ReLU组合层输出，且每个组合层之间通过跳线连接，设置旁路使得深层特征与浅层特征有效流动．引入三维密集连接模块能够在一定程度上缓解梯度消失和模型退化问题．

三维密集连接模块主要包括4个组合层，层与层之间相互连接．其中，每一个组合层包括Conv+BN+ReLU．具体地说，输入$\mathit{X}\in {\mathbf{R}}^{H\times \mathbb{W}\times L}$经过三维Conv层的输出为

其中:$\mathit{}\mathit{Y}\in {\mathbf{R}}^{H\times \mathbb{W}\times L}$为卷积后的输出; W为三维卷积的权重; b为三维卷积的偏置项．为了加快收敛速度并避免过拟合现象的发生，将三维卷积的输出经过归一化BN层，即:

式中:E[x^（i）]表示所有神经元值的平均值; $\mathrm{}\sqrt{D\left[x^{（i）}\right]}$表示所有神经元输入值的标准差; x表示归一化BN层的输入．为了使得稀疏后的模型能够更好地挖掘相关特征、拟合训练数据，在归一化之后接入ReLU激活函数层，即:

式中，x表示非线性激活函数的输入，g（·）表示非线性激活函数．

从三维密集连接模块可以看出，层与层之间通过跳线连接．第i层的输入等于前面所有i-1的输出之和．即:

其中，H_l[·]表示第i层的系统函数，包括三维卷积层、归一化BN层以及ReLU非线性激活层．假设输入特征图的输入大小为H×W×L，且有2C个通道，每个卷积层为C个大小为1×1×d的卷积核，则输入经过该卷积层的输出为C个大小为H×W×L的特征图．而特征图的输出通道数和输入通道数存在密集连接关系:

式中，C_m表示第m层输出的通道数量．

1.3 双池化注意力机制模块

在高光谱图像中空间像素间相互依赖关系有利于更准确地实现像素分类．近年来，很多注意力机制被相继提出，用来探索空间的依赖关系．为了进一步强调更重要的特征，抑制无用的特征，本文提出一种双池化注意力机制，结构如图3所示．考虑到不同通道的空间信息压缩和通道相关性，且所携带的信息不同，仅使用平均池化或者最大池化，会使得图像一部分信息丢失．为了得到更多的信息，本文采用平均池化层和最大池化层同时进行池化操作来提取所有通道的最大特征值和平均特征值，最后将得到的特征进行融合．具体地说，假设输入为C个$\mathit{x}\in {\mathbf{R}}^{H\times \mathbb{W}\times L}$，经过平均池化和最大池化后的输出大小为C个$x^{\mathrm{\text{'}}}\in {\mathbf{R}}^{1\times 1\times 1}$．而此时每个通道均为一个元素，并且不同元素的值代表着对应通道的信息．

将融合后得到的结果再经过自适应卷积层，且自适应核大小k与通道C相关．从卷积的跨通道交互角度来看，C与长期交互作用呈正相关．即C越大，长期交互关系越强; 反之，C越小，短期交互关系越强．而自适应核大小k与通道C关系：

式中，$\varphi$（·）为自适应核函数．同样地，为了使得稀疏后的模型能够更好地挖掘相关特征，将经过自适应卷积后的输出经过ReLU非线性激活函数层得到注意力图．最后，将所得到的注意力图与原始输入进行点积操作得到最终的输出．

1.4 整体网络结构

针对高光谱图像的高维特性以及样本数据量有限的情况，本文设计了一个双池化注意力机制网络（DPAMN）．DPAMN的整体结构如图4所示．网络包括浅层特征提取、双池化注意力机制模块（DPAM）以及三维密集连接模块组成．

原始高光谱图像经过浅层网络获得具体的特征，再经过DPAM层将重要的特征进行强化，且抑制无用的特征．将所得到的结果经过三维密集连接模块进行深层特征提取，得到更加抽象的语义信息，最后将得到的特征向量经过概率分布确定所属类别．为了更加详细地表示DPAMN网络，以Indian Pines数据为例，该数据集的图像大小为145×145×200，表1给出了DPAMN各层的卷积核大小和该层的输出尺寸大小．特别地，若3D卷积使用的卷积核较大，则将会使得网络的参数激增．因此，本文在3D密集连接模块中所采用卷积核大小为3×3×11．

2 对比实验结果与分析

为了验证所提出方法的有效性，选择Indian Pines、University of Pavia、Salinas以及Houston 2013 4种数据集，且进行一系列实验．本节将给出所有对比实验的结果和分析．此外，为了公平比较，所有的实验均在处于相同的实验环境并且配置相同的实验参数．实验所使用的硬件平台是Intel（R）Core（TM）i7-9750H CPU、NVIDA GeForce GTX1060 TI GPU和8 GB的内存．软件环境是CUDA 10.0、pytorch 1.2.0和python 3.7.4．实验采用总体分类精度（Over-all Accuracy，OA）、平均分类精度（Average Accuracy，AA）、Kappa系数3个衡量指标来评价所有的方法．

2.1 数据集

本实验采用的数据集包括Indian Pines、University of Pavia、Salinas以及Houston 2013 4种常见数据集．在实验过程中，4种数据集分别随机选取5%、1%、1%以及2%样本比例作为训练样本．

1）Indian Pines数据集的空间大小为145×145，拥有220个波段，但除去吸水带20个，剩下200个波段用于实验中．同样地，除去背景像素，用于实验的空间像素有10 249个．该数据集有16个覆盖地物类别，具体类别信息见表2．

2）University of Pavia数据集由反射光学系统成像光谱仪（ROSIS）捕获而来，其空间大小为610×340，空间分辨率为1.3 m，但仅有103个波段可用于实验．该数据集有9个地物覆盖类别，具体类别信息见表3．

3）Salinas数据集是1996年通过AVIRIS传感器获取的，空间大小为512×614，有176个可用波段．该数据集有16个地物覆盖类别，具体类别信息见表4．

4）Houston 2013数据集由紧凑型机载光谱成像仪（CASI）传感器获取，其空间大小为349×1 905，波段数为114，波长范围为380~1 050 nm．该数据集包含15个地物覆盖类别，具体类别信息见表5．

2.2 各方法的实验结果对比

为了更好体现所提出方法的优越性，本节将DPAMN与多种深度学习方法相比较，包括SSRN^[16]、DBMA^[24]、DBDA^[25]、HybridSN^[18]．所有参数设置均相同．选择的空间输入大小为9×9．

SSRN包含空间残差模块和光谱残差模块，一定程度上缓解了网络梯度消失的问题．DBMA与DBDA是一个双分支结构，并且在空间分支和光谱分支分别引入空间注意力和光谱注意力．HybridSN将3DCNN和2DCNN结合起来，利用3DCNN来提取高光谱图像的空间和光谱特征，且利用2DCNN来提取空间特征．表6—9和图5—8给出了不同方法在Indian Pines、University of Pavia、Salinas以及Houston 2013数据集上的所有分类结果．

由于Indian Pines的类间混合程度较大，且类别较多，现阶段很多方法的分类精度都不是很好．从表6可以看出，所有方法的分类精度较低．然而，与其他方法相比，本文方法获得最高的OA、AA和Kappa．不同方法在Indian Pines数据集上的所有分类如图5所示．通过比较，可以发现其他方法类间混合程度更高，错误分类较多，分类最差的是HybridSN．而本文方法得到结果更接近土地覆盖真实分类．虽然University of Pavia数据集的光谱波段比Indian Pines数据集少，但是不同方法获得分类精度却比Indian Pines数据集上得到的精度普遍要高（表7），这主要由于University of Pavia数据集的分类类别较少，仅有9类．

图6给出了不同方法在University of Pavia数据集上的分类结果，可以看到本文方法的分类图更加平滑，表明具备很好的分类判决能力．Salinas数据集土地覆盖更加规律，而Houston 2013数据集的空间分辨率更高．由表8和表9可知，DPAMN在Salinas和Houston 2013数据集上依然获得了最高的分类精度．图7与图8分别给出了所有方法在Salinas和Houston 2013数据集上的分类结果．可以发现，DPAMN方法在Salinas和Houston 2013数据集上的分类图更接近土地覆盖真实分类图，而DBDA方法虽然能够获得次优的分类图，但依然存在较多的错误分类．

因此，与其他先进方法相比，本文所提出方法获得最高的分类精度和最好的分类图，充分验证了本文方法的有效性．

2.3 实验分析

为了更好地体现本文提出的网络结构，下面对DPAMN输入空间大小、三维卷积密集连接个数以DPAM中不同池化类型对分类精度OA的影响进行定量分析．

2.3.1 输入数据空间尺寸

网络通过将原始图像切割成多个H×W×B的输入小图像块作为图像的输入．输入空间大小以5×5、7×7、9×9以及11×11为例．图9给出了DPAMN在Indian Pines、University of Pavia、Salinas以及Houston 2013 4个常见数据集上不同输入尺寸获得的OA值．可以看出，Indian Pines、University of Pavia和Salinas数据集中9×9获得的OA最高，11×11的输入空间大小获得的结果次之．在Indian Pines、University of Pavia以及Salinas数据集上OA值随着空间输入增大先增大后减小，而Houston 2013数据集上OA值随着空间输入增大逐渐增大，最优的输入空间大小为11×11．因此，对比实验采用9×9的空间输入大小输入到网络中．

2.3.2 三维卷积密集连接数

本文采用三维卷积密连接模块来增强网络的空间和光谱特征提取能力，三维卷积密连接模块中密集连接个数越多提取的特征越抽象．因此，本节将对三维卷积密集连接个数对网络分类精度的影响进行讨论．本文设置一个密集连接个数为1的对比实验，且以3、4、5、6个三维卷积密集连接个数作为实验组．图10给出了不同密集连接个数在不同数据集上的分类精度OA值．可以看出，采用密集连接模块能够有效地提高网络的分类精度．5个和6个卷积密集连接个数获得结果相似，但在Salinas数据集上，5个卷积密集连接个数的OA值远远超过6个卷积密集连接个数模块的OA值．此外，6个卷积组成的模块参数量也超过5个卷积组成的密集连接模块．因此，本文设计的DPAMN中的三维密集连接模块采用的三维卷积个数为5个．

2.3.3 DPAM中不同池化类型对分类精度OA的影响

在所提出的DPAMN中，设计的DPAM采用最大池化层和平均池化层共同计算信息映射．最大池化操作生成了在局部区域中值最大的显著图，平均池化层计算局部区域的平均值来表示特征图的关键信息．从表10中可以看出:单独采用最大池化层或者单独采用平均池化层，均会导致图像的信息丢失，获得的结果在4个数据集上表现相近; 当最大池化层和平均池化层同时使用时（双池化）聚合性能最好，获得的OA值在4个数据集上均为最高．此外，本文在双池化之后引入了自适应卷积，充分挖掘了通道之间的相关性．因此，通过消融实验，充分验证了本文提出的双池化注意力机制的有效性．

3 结论

1）本文设计的基于双池化注意力机制分类网络，提出一种双池化注意力机制来强调通道之间的相互关系，并在深层网络中引入三维连接模块，不仅充分提取了深层空间和光谱的特征，还在一定程度上缓解了梯度消失问题和网络退化问题，在小训练样本情况下提高了分类精度．

2）本文通过实验分析不同的网络参数对分类性能的影响，找到了最优的网络参数设置，并与现阶段高光谱图像分类最先进的方法相比．实验结果表明，本文所提方法在小样本下具有更好的分类性能．

未来的研究工作当中，将继续在极小样本的情况下探究更强大的特征提取网络，且利用残差模块构建更优的网络．

参考文献