0 引言

随着遥感技术的不断发展^[1]，遥感图像分类被广泛应用于土地管理、城市规划、交通监管等众多领域^[2].然而，目前遥感场景图像包含的信息和结构丰富复杂，如何合理利用遥感图像中丰富的信息获取精准有效的特征，还面临诸多挑战^[3].

遥感图像场景分类中常用传统手工特征提取图像的特征，包括颜色直方图、纹理特征、全局特征信息（GIST）、尺度不变特征变换（SIFT）等.李孚煜等^[4]指出基于SIFT的遥感图像配准技术在尺度旋转不变性上具有优势；许君一等^[5]将灰度共生矩阵（GLCM）作为主成分分析（PCA）的第一主分量，充分利用了GLCM在获取纹理特征上的稳健性.尽管传统手工特征具有较好的稳定性和表达整体浅层信息的能力，直接应用于低分辨率遥感图像场景分类任务中是可行的，但传统手工特征过于依赖人工设计且无法有效提取高分辨率遥感图像特征信息，使得在分类任务中不具有广泛应用能力.

为了有效解决上述问题和依靠单一特征导致模型缺乏泛化能力和分类性能低下的情况，学者们先后提出多种特征融合分类方法.陈旭等^[6]提出基于GLCM和Tamura融合特征的纹理材质分类算法，通过提升GLCM的旋转不变性和减少大量的冗余信息，增强算法的鲁棒性和分类性能；张庆春等^[7]采用多特征融合的算法提取局部熵、纹理特征等多个特征提高图像的分类性能；王钰等^[8]采用新空间特征——二阶矩特征和光谱特征融合的方法实现道路精化；康健等^[9]利用RFB模块获取高阶水体语义信息与多尺度，将初始多尺度特征与原始特征进行深层次融合，完成多尺度特征的提取，增强高阶水体语义信息特征.这些方法在考虑全局特征信息的同时，保留了浅层局部信息，通过浅层信息和全局特征信息融合的方法，在一定程度上提高了算法的泛化能力和分类性能.然而，这种特征融合会增加计算量，从而导致模型复杂度的增加和过拟合情况的发生.因此，本文算法中引入PCA模块，选用合适的主成分贡献率，去除冗余信息的同时提升模型分类性能

近年来，因深度学习算法在图像识别方面表现出的优越性，众多学者将卷积神经网络（CNN）引入遥感图像场景分类中.尽管目前CNN在场景分类方法中取得了较好的结果，但深度学习需要大量的数据标签，在可供学习样本较少的遥感图像场景分类领域，难以获取更可靠的图像特征信息.迁移学习通过ImageNet预训练网络，在小样本条件下的场景分类中能够获得较好的效果.Han等^[10]利用预训练的AlexNet网络结合空间金字塔池化方法提高场景分类精度.有研究表明，提取CNN的深层特征进行不同方式的特征融合，最终将融合特征输入SVM（支持向量机）分类，效果优于CNN直接分类.因此本文选用网格搜索优化的SVM（GS-SVM）作为最终的分类器.Li等^[11]指出在场景分类中融合预训练的CNN特征相比于原始CNN特征表现出更好的区分能力.Lu等^[12]采用一种应用于场景分类的特征聚合（FACNN），通过预训练的CNN作为特征抽取器探索语义标签信息来学习图像特征.

综上所述，基于传统手工特征依赖人工设计、表达特征能力弱，特征融合增加模型复杂度和计算量，深度学习在缺乏大量数据标签时性能不佳，所以，本文提出基于深度学习特征融合的遥感图像场景分类方法（GL-LBP-CNN），对数据集UC Merced的21类和RSSCN7数据集的7类图像进行分类.利用GLCM和LBP（局部二值模式）提取具有相关空间特性的纹理特征和局部纹理特征的浅层特征，再利用基于AlexNet网络的迁移学习（AleCNN）提取全连接层的深度特征，并将提取的浅层特征与深度特征自适应融合后通过PCA降低冗余信息，最后输入到GS-SVM中进行分类.

1 特征提取

高分辨率遥感图像场景分类主要利用图像的空间信息和少量的光谱信息来识别遥感图像的场景类别^[13].本文在进行遥感图像分类时，通过灰度共生矩阵提取具有相关空间特性的纹理特征，然而只关注整体的纹理特征具有局限性，局部二值模式可以有效地提取遥感图像的局部纹理特征，最终构建一个整体特征与局部特征相融合的浅层纹理特征.再加入基于AlexNet网络的迁移学习模块提取遥感图像深层特征，最后将浅层特征与深层特征进行特征融合得到遥感图像最终特征.

1.1 灰度共生矩阵

灰度共生矩阵（GLCM）体现灰度图像中关于方向、相邻间隔、变化幅度等纹理信息^[14].一般采用4个最常用的特征来提取图像的纹理特征.二阶矩反映图像灰度分布均匀程度和纹理粗细程度；对比度反映纹理深浅的程度；自相关反映矩阵G中的元素行或列的相似程度；熵反映图像信息量的大小.

二阶矩：

对比度：

自相关：

其中:

$\begin{array}{c}{\mu }_1=\sum _{i=0}^{L-1}i\sum _{j=0}^{L-1}G(i,j),\\ {\mu }_2=\sum _{i=0}^{L-1}\sum _{j=0}^{L-1}G(i,j),\\ {\sigma }_1^2=\sum _{i=0}^{L-1}{\left(i-{\mu }_1\right)}^2\sum _{j=0}^{L-1}G(i,j),\\ {\sigma }_2^2=\sum _{i=0}^{L-1}{\left(i-{\mu }_2\right)}^2\sum _{j=0}^{L-1}G(i,j).\end{array}$

熵：

1.2 局部二值模式

LBP算子定义为在一个3×3的块内，以每个块的中心像素作为阈值，将周围的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0.这样，3×3邻域内的8个点经比较可产生8位二进制数（通常转化为十进制的LBP码），即得到该区域中心像素点的LBP值，并用这个值来反映该区域的纹理信息.如图1所示.

原窗口可表示为二进制：00010011；十进制：19.用公式表示如下：

其中，P表示3×3窗口中除中心像素点外的第p个像素点，i_P表示领域内第p个像素点的灰度值，i_c表示中心像素点的灰度值.

式子（5）中的s（x）公式如下：

其中x是i_P-i_c的值.

1.3 迁移学习

深度学习在自然图像下的目标分类和识别方法已渐趋成熟，自然图像下的分类模型应用于遥感影像的特征提取，可在一定程度上解决遥感影像场景分类训练数据缺乏导致难以训练的问题^[15].

AlexNet与其他结构复杂和深度的CNN架构（如GoogLeNet、VGG-16等）相比，是一种结构简单的CNN架构，易于训练和优化^[10].在考虑模型计算量和精准性的平衡下，本文选取AlexNet网络进行实验^[16].AlexNet网络模型具有5层卷积和3层全连接层，其中最后一层全连接层为1 000维，在移除该全连接层的同时加入一个1×256的全连接层.最后将输出的256维向量作为提取到的遥感图像特征.AlexNet原始网络模型如图2所示^[10].

2 本文方法

结合上述3种特征提取使用GS-SVM（网格搜索支持向量机）作为分类器，提出GL-LBP-CNN方法.

2.1 GS-SVM模型

网格搜索算法被应用于SVM的参数优化问题.它将估计函数的参数通过交叉验证的方法进行优化来得到最优的学习算法^[17].

设训练集$T=\left\{\left({\mathit{x}}_1，y_1\right)，\left({\mathit{x}}_2，y_2\right)，\cdots ，\left({\mathit{x}}_i，y_i\right)\right\}\in （X\times Y{）}^l$，其中x_i为特征向量，y_i为x_i对应的标签.

选取适当的核函数$\kappa \left(x，x^{\mathrm{\text{'}}}\right)$和参数C，引入拉格朗日乘子α构造求解最优化问题：

$\underset{\alpha }{max}\sum _{i=1}^l{\alpha }_i-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left(\mathit{x},{\mathit{x}}^{\mathrm{\text{'}}}\right),$

$\text{s.t.}\sum _{i=1}^l{\alpha }_i{y}_i=0$

得到最优解：${\mathit{\alpha }}^{*}={\left({\alpha }_1^{*}，\cdots ，{\alpha }_l^{*}\right)}^{\mathrm{T}}$.

任意选取α^*的一个分量，计算阈值b^*：

选用RBF核函数对SVM进行改进，将样本映射到高维空间，可以更好地处理非线性数据，使得SVM分类的准确率提升.RBF核函数$\kappa \left(\mathit{x}，{\mathit{x}}_i\right)$为

其中，g为核函数半径.

构造决策函数：

SVM进行图像分类预测时通常需要选取适当的相关参数C和g来获取较佳的分类精度，本文采用的方法旨在通过优化参数以获取最优模型参数.

2.2 方法步骤

本文结合基于特征融合的GL-LBP-CNN方法和GS-SVM算法，具体步骤如下：

1）通过GLCM和LBP分别提取具有空间信息的整体纹理特征和局部纹理特征；

2）通过AleCNN提取遥感图像的深层特征；

3）将所提取的GLCM特征、LBP特征和深层特征进行自适应融合；

4）将融合特征输入到GS-SVM算法中，进行遥感图像场景分类.

本文方法流程如图3所示.

3 实验结果与分析

3.1 数据集

UC Merced数据集来源于美国地质调查局，包含飞机、高尔夫球场等21个类别，每个类别包含100张图像，图像尺寸为256×256，图像分辨率为0.3 m.RSSCN7数据集包含2 800张遥感图像，来自于7个典型的场景类别，分别是草地、田地、工业、河流湖泊、森林、居民区和停车场，其中每个类别包含400张图像，分别基于4个不同的尺度进行采样.上述两个数据集样本量远小于深度学习常用的imageNet、open images等数据集.两个数据集各类别图像的示例分别如图4、图5所示.

UC Merced数据集链接：http://weegee.vision.ucmerced.edu/datasets/landuse.html

RSSCN7数据集链接：https://hyper.ai/datasets/5440

3.2 实验设置

实验在MATLAB R2019b的环境下进行，处理器型号为AMD Ryzen5 3500X.本文模型实验中在UC Merced数据集上训练集和测试集分别为每类的80%和20%，在RSSCN7数据集上训练集和测试集均为每类的50%.AlexNet预训练网络基于ImageNet数据集，实验中批量大小为10，初始学习率为0.0001，迭代次数为 10 次.实验部分采用分类精度、时间开销、混淆矩阵、F1和kappa系数作为评价指标.

3.3 对比实验

为对比手工特征模块相较于单一手工特征的性能，将两个基准数据集通过GLCM-LBP、GLCM和LBP手工特征进行分类精度、F1和kappa系数比较.结果如表1所示.

注:GLCM、LBP、GLCM-LBP的主成分均选取95%，加粗文字表示分类精度最高.

由表1可知：在UC Merced 数据集上GLCM-LBP模块相较于GLCM和LBP单个特征在分类精度上分别提高19.53个百分点和4.53个百分点，在F1分数和kappa系数上均有不同程度的提升；在RSSCN7数据集上GLCM-LBP模块相较于GLCM和LBP单个特征在分类精度上分别提高17个百分点和2.28个百分点，同样在F1分数和kappa系数上都有更佳的表现.结果表明传统手工特征提取的浅层特征，经过融合特征后表达图像信息的能力优于单一特征，且两种不同的浅层特征可以起到信息互补的作用，从而增强模型的泛化能力和分类性能.然而，不管是GLCM-LBP模块还是GLCM和LBP这种单一手工特征，在两个基准数据集上均没有取得优良的分类性能，表明手工特征无法有效提取图像更高层的语义信息和有效解决高分辨率遥感场景图像分类的能力.

图6和图7是GLCM-LBP模块分别在UC Merced 数据集和RSSCN7数据集的混淆矩阵.由UC Merced 数据集的混淆矩阵可知，建筑物、密集住宅、路口、中型住宅、稀疏住宅、储油罐和网球场7个类别的分类精度没有超过83.1%，而这些类别具有图像复杂的特征，且建筑物、密集住宅、中型住宅、稀疏住宅具有类间相似高、类内相似低的特性，极大地干扰了模型分类的性能.密集住宅类别中分类错误的图像大多被误分类到了其他3类.由RSSCN7数据集的混淆矩阵可知，工业、居民区和停车场3个类别的分类精度没有超过81.14%，其中工业类别分类错误的图像有78.79%被错误分类到居民区和停车场中，居民区类别分类错误的图像有84.21%被错误分类到工业和停车场中，停车场类别分类错误的图像有81.25%被错误分类到工业和居民区中.因此，传统手工特征无法充分表达复杂特征图像的信息，且无法有效解决类间相似高、类内相似低的问题.

将GL-LBP-CNN方法在UC Merced数据集上与SVM-LDA^[18]、MU-DenseNet^[19]、FK-S^[20]和MS-DCNN^[21]比较，在RSSCN7数据集上与S-head-attention^[22]、M-head-attention^[22]、pre-trained Resnet50 features+SVM^[23]和TLMoE-Resnet50^[23]比较，结果如表2所示.

注:UC Merced数据集和RSSCN7数据集中 GL-LBP-CNN主成分贡献率分别选取95% 和90%，加粗文字表示分类精度最高.

由表2可知，在UC Merced 和RSSCN7数据集上GL-LBP-CNN分别取得了94.77%和93.79%的分类精度，均优于对比方法.本文方法不仅在分类精度上具有优越性，还具有较强的泛化能力，能适用于多种场景分类数据集.

3.4 消融实验

为了更深入探究预训练AlexNet不同维数的全连接层表达图像信息的能力，实验对比了64维、256维和512维全连接层输出的特征，结果如表3所示.

注:主成分均选取95%，加粗文字表示分类精度最高.

由表3可知：在UC Merced数据集和RSSCN7数据集中，预训练AlexNet的全连接层的维数和时间开销成正比，且倍数基本保持一致；在两个数据集中，AlexNet-256的分类精度均优于AlexNet-64和AlexNet-512.结果表明，全连接层输出特征维数过高，会产生一定的冗余信息，在SVM分类器中效果不理想.特征融合后场景图像输出特征维数增加，模型的复杂度和计算量有所提高，大大增加了模型的时间开销.本文通过对比不同的主成分贡献率对GL-LBP-CNN分类精度和时间开销的影响以获取一个较优的参数.结果如表4所示.

由表4可知，在UC Merced数据集上，主成分贡献率为95%时分类精度最高，达94.77%，当主成分贡献率为50%时，分类精度只有77.14%，表明在PCA降维过程中丢失了过多有效信息.在权衡时间开销和分类精度的过程中，分类精度是至关重要的，因此选择95%主成分贡献率.

在RSSCN7数据集上，主成分贡献率为90%时分类精度最高，为93.79%，当主成分贡献率为50%时，分类精度仅为83.07%，综合分类精度与时间开销，最终选择90%主成分贡献率.

上述实验结果表明，特征融合在增加模型复杂度和计算量的同时会产生冗余信息，在一定程度上会降低模型的分类精度.而本文引入的PCA方法可以有效降低冗余信息和模型计算量，在保证分类精度的同时，减少时间开销.

为探究在GL-LBP-CNN方法中浅层信息对预训练网络提高场景分类性能的有效性，将GLCM和LBP单一手工特征分别和AleCNN融合，结果如表5、6所示.

注:UC Merced数据集主成分选取95%，RSSCN7数据集主成分选取90%，加粗文字表示分类精度最高.

注:UC Merced数据集主成分选取95%，RSSCN7数据集主成分选取90%.

由表5可知，不同的手工特征对于AleCNN提取的图像信息有不同程度的补充.在UC Merced数据集上，LBP-AleCNN和GLCM-AleCNN的分类精度优于AleCNN.尽管GLCM的分类精度低于LBP，但在对AleCNN的特征信息补充上略微优于LBP，表明两种纹理特征在作用于深层语义特征时，会有不同的信息补充.在RSSCN7数据集上，LBP-AleCNN和GLCM-AleCNN的分类精度也优于AleCNN.实验结果表明浅层特征对于提高AleCNN场景分类能力具有一定的有效性.由表6可知，两个数据集上GL-LBP-CNN相较于预训练AleCNN在F1和kappa系数上均取得更优的结果，表明GL-LBP-CNN方法在每类的准确率和召回率上达到较高的精度且预测结果和实际分类结果具有较好的一致性.

图8和图9是GL-LBP-CNN方法分别在UC Merced 数据集和RSSCN7数据集的混淆矩阵.将图8与图6比较，可知建筑物、密集住宅、路口、中型住宅、稀疏住宅、储油罐和网球场7个类别的分类精度都有不同程度的提高，7类的平均分类精度由原来的64.29%上升到了87.14%.将图9和图7比较，可知工业、居民区和停车场3个类别的分类性能得到大幅度提升，其中居民区类别分类错误率仅有0.5%，且没有被错误分类到工业和停车场中，停车场类别分类错误率仅有8%，且被错误分类到工业和居民区中的图像大幅度减少.表明GL-LBP-CNN方法极大地增加了模型表达复杂图像信息的能力，有效地解决了类间相似高、类内相似低的问题.

4 结论

本文提出的GL-LBP-CNN方法，不仅能提取图像的整体与局部相结合的浅层特征，还融入AleCNN提取的深度特征.通过PCA降维有效地解决了特征维数扩大后计算量增加等问题，在不影响分类精度的同时，提高了算法的分类效率.并采用网格搜索优化SVM以提高分类器分类的性能.在UC-Merced数据集和RSSCN7数据集中的实验结果表明，本文模型优于对比方法，5次平均分类精度分别达94.77%和93.79%.未来将进一步优化预训练网络结构以及从通道注意力、多尺度特征融合、优化分类器角度出发，设计出更加轻量高效的方法.

参考文献