一种增强自适应性和可解释性的元学习框架

doi:10.13878/j.cnki.jnuist.20240815001

一种增强自适应性和可解释性的元学习框架

doi: 10.13878/j.cnki.jnuist.20240815001

徐艳琳¹ ，王茂发¹ ，文益民² ，颜丙辰¹ ，杨凤山¹ ，郭文恒³ ，蒋俊¹

1. 桂林电子科技大学广西可信软件重点实验室,桂林, 541004

2. 桂林电子科技大学广西图像图形与智能处理重点实验室,桂林, 541004

3. 防灾科技学院信息工程学院,廊坊, 065201

基金项目: 广西重点研发计划 (桂科AB21220 023) ；国家自然科学基金(42164002) ；广西研究生教育创新计划(YCSW2023308)

详细信息

作者简介

徐艳琳,女,硕士生,主要研究方向深度学习、元学习．xuyanlin0513@163.com

通讯作者

王茂发,男,博士,教授,主要研究方向人工智能、深度学习和元学习．wangmaofa2008@126.com

中图分类号: TP391.1;TP18

文献标识码: A

A framework for enhanced adaptability and interpretability in meta-learning

XU Yanlin¹ ， WANG Maofa¹ ， WEN Yimin² ， YAN Bingchen¹ ， YANG Fengshan¹ ， GUO Wenheng³ ， JIANG Jun¹

1. Guangxi Key Laboratory of Trusted Software,Guilin University of Electronic Technology,Guilin 541004 ,China

2. Guangxi Key Laboratory of Image and Graphic Intelligent Processing, Guilin University of Electronic Technology,Guilin 541004 ,China

3. School of Information Engineering,Institute of Disaster Prevention,Langfang 065201 ,China

摘要

在少样本学习场景中,模型无关的元学习(Model-Agnostic Meta-Learning,MAML)以其独立于特定基模型的灵活性和适用性而闻名．然而,MAML及其变体缺少对任务特定的特征(如特征通道)进行适应性调整,它们依赖全局初始参数,固定内环步数,训练过程缺乏可解释性．本文提出一种使用逻辑回归和通道注意力的快速可解释且自适应的方法(Meta-Learning with Logistic Regression and Channel Attention,ML-LRCA),目标是通过适应性调整任务特定的通道权重和利用逻辑回归快速适应任务自适应损失函数来增强框架的自适应性和可解释性．在多个开源数据集上的实验结果表明,ML-LRCA方法有助于提升在少样本分类、少样本回归以及跨域学习等场景的性能．

关键词

元学习 / 逻辑回归 / 通道注意力 / 可解释性 / 自适应性

Abstract

In few-shot learning scenarios,Model-Agnostic Meta-Learning (MAML) is renowned for its flexibility and applicability independent of specific base model.However,MAML and its variants lack the capability to adaptively adjust task-specific features,such as feature channels,and rely on global initial parameters with fixed inner-loop step numbers,resulting in a training process that lacks interpretability.This paper proposes a rapid,interpretable,and adaptive framework of Meta-Learning with Logistic Regression and Channel Attention (ML-LRCA).The goal is to enhance the adaptability and interpretability of the framework by adaptively adjusting task-specific channel weights and utilizing logistic regression to swiftly adapt to task-specific adaptive loss functions.Experimental results on multiple open-source datasets indicate that the proposed ML-LRCA framework achieves significant performance improvements in scenarios such as few-shot classification,few-shot regression,and cross-domain learning.

Keywords

meta-learning (ML) / logistic regression / channel attention / interpretability / adaptability

0 引言 1 本文方法 1.1 问题描述 1.2 MAML 1.3 ML-LRCA算法 1.3.1 概述 1.3.2 损失函数参数生成网络 1.3.3 通道注意力模块 1.3.4 方法架构 2 实验结果分析 2.1 少样本分类 2.1.1 数据集 2.1.2 实验结果 2.2 少样本回归 2.3 跨域少样本分类 2.3.1 数据集 2.3.2 实验结果 2.4 消融实验 2.5 可视化 3 结语

0 引言

在传统的深度学习任务中，模型通常需要大量的标记样本来进行训练，以便能够在未标记的数据上做出准确的预测．然而，在一些现实场景中，获取大量标记样本通常是昂贵、耗时或困难的．因此，以元学习^[1]（Meta-Learning，ML）为代表的少样本学习变得越来越受欢迎，其目标是在面对非常有限数量的训练样本时，模型还能够有效地进行学习和泛化^[2-3]．少样本学习目前面临的主要挑战是构建鲁棒且泛化性能良好的模型，减轻深度神经网络在少样本情况下过度拟合的敏感性，并实现对新示例的泛化．ML能够生成一个通用的模型来学习各种任务，不需要再从零开始学习训练模型．基于优化的ML通常分为外循环和内循环两种方式，其中:外循环通过分析不同任务之间的共同特征，使模型可以更好地泛化新任务，最终实现更好的性能; 内循环则是使模型在短时间内适应当前训练任务．ML算法不仅可以对任务中的数据学习并优化，而且还可以在训练过程中学习如何调整模型的参数．

目前，与模型无关的元学习^[2]（Model-Agnostic Meta-Learning，MAML）是应用最广泛的元学习算法之一．MAML 的基本思想是寻找一个更好的初始化参数，最终模型可以以较少的梯度步骤快速学习新任务．但MAML经常面临泛化能力较低的问题，尤其是在训练和测试阶段任务多种多样时．最近，许多研究关注学习更好的初始化，主要包括两个方向:外循环的细化和内循环的增强．一些工作^[4-11]试图通过调节内循环的学习率来提高学习算法的效率，还有一些工作^{[3，6-7，12-14]}试图找到更好的内循环更新规则．这些方法在内循环优化中均采用较简单的损失函数或使用较为复杂的深度学习框架来更新损失函数．Baik等^[15]提出一种超参数快速自适应元学习框架（Adaptive Learning of Hyperparameters for Fast Adaptation，ALFA），使用复杂的多层感知器（Multi-Layer Perceptron，MLP）来更新损失函数以提高模型的适应性．但由于MLP的复杂性和非凸性，通常会面临局部最优解的问题．Wang等^[16]则利用逻辑回归的方法来解决MLP面临的复杂问题．在逻辑回归中，优化过程^[17]通常是求解一个凸优化问题，找到全局最优解具有可行性．不同于Wang^[16]等提出的方法，本文将逻辑回归应用在损失函数上，采用两个基于逻辑回归的元网络来更新损失函数．逻辑回归不仅可以给出分类判断，还可以提供结果发生的概率，这使得决策过程变得更加透明和易于理解．因此，使用逻辑回归能提高模型的可解释性．

Fukui等^[18]认为，关注神经网络中每个通道的权重可以增强自适应性和可解释性．Xu等^[19]提出一种视觉注意力方法来对图像描述任务中特征的重要性进行建模．Hu等^[20]首先对通道执行全局平均池化，然后用全连接层计算每个通道的权重，这表明网络可以根据输入数据动态调整其关注的特征．Woo等^[21]提出一种卷积注意力模块（Convolutional Block Attention Module，CBAM），该模块将通道注意力机制和空间注意力机制进行融合，并增强重要特征的表达，同时抑制无关或不重要的信息．受上述工作启发，本文使用通道注意力机制来动态调整每个特征的权重，其中，权重高的特征对模型更有意义，而权重低的特征表示对模型意义相对较小．动态调整权重的过程，使得模型决策依据更加直观可见，增加了模型的可解释性和透明度，提升了结论的可信度．

本文提出一种基于逻辑回归和通道注意力的新元学习框架（Meta-Learning with Logistic Regression and Channel Attention，ML-LRCA）．ML-LRCA利用通道注意力机制来增强模型对权重的关注，并使用逻辑回归更新训练过程损失函数．通道注意力机制可以突出重要的特征，逻辑回归则提供了一个透明的决策过程，从而提高准确性和可靠性．

本文主要工作包括:1）引入基于逻辑回归的两个元网络生成适应任务的损失函数和损失函数参数，以此提高模型的准确率和可解释性; 2）引入通道注意力，动态调整特征权重，使模型的决策更加透明．

1 本文方法

1.1 问题描述

元学习旨在发现一种模型，可以在不同任务中表现出快速学习和适应能力.在少样本分类任务的背景下，算法预期适应的分布任务表示为p（Τ），元学习框架的任务合集假设为

{\{T_{i}\}}_{i = 1}^{T}

，其中，每个任务Τ_i 从p（Τ）中提取.Τ_i 由数据集 D_i 的两个不相交集合组成：支持集

D_{i}^{S}

和查询集

D_{i}^{Q}

.每个集合依次由多对输入 x 和输出 y 组成：

D_{i}^{S} = {\{(x_{i}^{s} ， y_{i}^{s})\}}_{s = 1}^{K}

和

D_{i}^{Q} = {\{(x_{i}^{q} ， y_{i}^{q})\}}_{q = 1}^{M}

.支持集

D_{i}^{S}

在基础学习器中用于调整参数θ，并利用学习到的算法来学习下一个新任务 T_i，具体公式如下：

θ_{i} = \underset{θ}{a r g m i n} L (D_{i}^{S}, θ) .

(1)

其中：

L

是用于评估任务性能的损失函数.因为

D_{i}^{S}

可以用于学习新任务，当每个任务中有 k 个样本可用，少样本学习则可以被称为 k-shot 学习（|

D_{i}^{S}

|=K=k）.

通过学习支持集

D_{i}^{S}

得到由 θ_i 表示的特定于任务的基学习器，然后使用属于同一任务 T_i 的查询集

D_{i}^{Q}

来评估参数 θ.因此，元学习算法的目标变成:

θ^{*} = \underset{θ}{a r g m i n} E_{T_{i} \sim p (T)} [L (D_{i}^{Q}, θ_{i})] .

(2)

1.2 MAML

MAML的学习过程是在不同任务上进行适应性调整来找到通用的初始化参数.经过少量梯度更新后，面对新任务时模型能够快速收敛.在内循环中，模型的参数θ适应特定于任务的支持集

D_{i}^{S}

通过梯度下降等优化算法进行调整.因此，在初始化θ_i_，0=θ 后，模型将通过梯度来最小化任务适应的目标（式（1））.第 j 步内循环优化表达为

θ_{i, j + 1} = θ_{i, j} - α \nabla_{θ_{i, j}} L (D_{i}^{S}, θ_{i, j}) .

(3)

其中：α 是学习率；

\nabla_{θ_{i ， j}}

表示相对于参数的梯度；

L

是特定于任务的损失函数.经过 j 步后，基础学习器的参数 θ_i 变为 θ_i_，_j.

在外循环中，基础学习器利用 θ_i_，0 的泛化性在查询集

D_{i}^{Q}

中评估初始化参数 θ，然后利用评估结果来更新参数 θ.模型在多个任务之间进行迭代学习，然后全局调整参数 θ_i（即 θ_i_，_j）以便更好地适应不同任务.这个调整（如式（2））可以表示为

θ = θ - η \nabla_{θ} \underset{T_{i}}{Σ} L (D_{i}^{Q}, θ_{i})

(4)

1.3 ML-LRCA算法

在本节中，首先概述ML-LRCA方法; 然后介绍其采用的两个主要模块，即通道注意力机制和逻辑回归，并提出新的损失函数生成网络; 最后阐述ML-LRCA的整体框架．

1.3.1 概述

元学习在训练过程中可以使用有标签的数据进行监督学习，每个训练样本都有相应的标签或输出.假设对于给定任务T_i 存在一个完全监督的设置，其中，支持集

D_{i}^{S}

中的标记样本被用来找到基础学习器θ_i，然后最小化固定的损失函数

L

.本文方法的目标是找到可以适应于任务的损失函数，同时提高框架的可解释性.注意力模块在深度学习中常常被用来增强模型对特征的表征能力，它能够学习并集中注意力于当前任务或数据关键的特征管道.为了规范内循环优化过程，实现更好的泛化，从元学习内循环优化损失函数

L_{ϕ}

（.）开始，由一个带有元学习参数φ的小型神经网络建模.内循环由式（3）更新为

θ_{i, j + 1} = θ_{i, j} - α \nabla_{θ_{i, j}} L_{ϕ} (T_{i, j})

(5)

其中：T_i_，_j 表示在时间步 j 时 T_i 的任务状态.在元学习形式（如式（3））中，T_i_，_j 通常只有支持集

D_{i}^{S}

.但是任务之间有着很大的差异，尤其是在跨领域场景中.因此，学习这些任务的自适应过程可能需要不同的正则化和辅助损失函数.如果使用梯度下降的方法使元学习的损失函数具有自适应性，那必然导致庞大的计算成本.如果元学习算法使用高阶梯度进行训练，计算成本必将更加庞大.本文给出的解决方案是使用仿射变换使损失函数适应给定的任务.已有研究^[22-25]证明了条件仿射变换在使特征响应适应性方面是有效的，且对元学习初始化适应性也有帮助.利用仿射变换动态地调整损失函数的参数 φ，公式如下：

(6)

其中：γ 和 β 是由元学习器g（T_j; ψ）生成的变换参数.

MLP（多层感知器）可以表示大部分多项式曲线拟合过程，并在拟合效果和算法效率之间取得平衡.但是，MLP本质上是为解决大样本数据的非线性多分类问题而设计的，所以在少样本学习中还需进一步讨论其结构与模型过拟合之间的关系.另外，MLP 是一种通过反复试错测试来优化参数的方法，这可能会减缓基本模型对未知任务的适应速度.

为了训练元学习框架能够在不同任务之间实现泛化，本文使用外循环优化参数θ、 φ 和 ψ，特定于任务的学习器θ_i 以及查询集

D_{i}^{Q}

以适应不同任务，公式如下：

(θ, ϕ, ψ) \leftarrow (θ, ϕ, ψ) - η \nabla_{(θ, ϕ, ψ)} \sum_{T_{i}} L (D_{i}^{Q}, θ_{i}) .

(7)

完整训练过程展示在算法1中.

1.3.2 损失函数参数生成网络

下面将详细介绍所提出框架中的内循环更新过程．本文的目标是设计一种比MLP 更简单、更有效、更具解释性的新损失函数参数生成网络结构，以学习如何优化内循环中的损失函数的参数．为此本文提出一种基于逻辑回归来构建损失函数参数φ 的生成网络．逻辑回归本身是一种广义的线性模型，其对数优势比与各参数之间呈线性关系.模型的系数可以直接反映每个输入特征对最终输出的影响方向（正或负）和强度:系数的符号表示影响方向，绝对值大小表示强度.需要注意的是，优势比本身是系数的指数函数（即非线性关系），但通过对数转换后，系数与对数优势比保持可解释性.因此，在应用逻辑回归时，可以直接通过模型系数来理解和解释哪些特征对决策更为重要，以及它们对输出的影响是增大还是减小．如图1所示，该热力图展示了逻辑回归模型的权重系数，横坐标表示输入神经元，纵坐标表示8个输出神经元，每个方块代表了输入神经元与输出神经元之间的连接权重．方块颜色则表示这些权重的值，颜色越深权重越大．

逻辑回归的基本思想是通过对数似然最小化损失来学习模型参数，使得模型能够在给定输入条件下估计事件发生概率，而不需通过枚举来优化底层网络中的所有权重，将优化问题转化为回归问题.损失函数参数φ生成网络g将转换为以下形式：

l_{ϕ} (T_{i, j}) = \frac{1}{1 + e^{- z}}

(8)

在内循环中，为了提高计算效率，T_i_，_j 被表示为作用于支持集的损失

L (D_{i}^{S} ， θ_{i ， j})

的均值、跨层基础学习器的权重 θ_i_，_j的逐层均值和基础学习器输出

f (x_{i}^{s} ， θ_{i ， j})

的均值的组合.为了减轻计算负担，本文采用与ALFA^[15]相同的方法：考虑将基础学习器 f 视为一个具有 L 层的神经网络，产生 N 维输出（用于 N 类分类）.因此，任务 T_i_，_j具有 1+L+N 个维度，这使得计算负担保持轻量化.尽管在半监督设置下计算负担可能略有增加，但可以从基础学习器

f (x_{i}^{q} ， θ_{i ， j})

（查询集）对未标记的查询样本的响应中获得额外信息.因此，式（8）中作为多元线性回归问题的 z 可以假设为

图1逻辑回归模型的系数

Fig.1Coefficients of logistic regression model

z = ϕ_{i, 0} + ϕ_{i, 1} T_{i, 1} + \dots + ϕ_{i, j} T_{i, j} .

(9)

l_φ（T_i_，_j）表示基于线性回归的逻辑函数，其参数为 T_i_，_j和 φ.在内循环的一次迭代中，给定参数 T_i_，_j和 φ 后，因变量取值为 [0，1] 的可能性表示如下：

p = P (y = 1 ∣ T_{i, j}) = l_{ϕ} (T_{i, j}),

(10)

1 - p = P (y = 0 ∣ T_{i, j}) = 1 - l_{ϕ} (T_{i, j}) .

(11)

在这种情况下，p 是一个 J 维张量.当在步骤 j 处的任务状态 T_i_，_j 对内循环中步骤 j+1 的φ_i_，_j₊₁ 具有最大影响时，y=1.相反，1-p 指的是 y=0 的情形.通过整合发生与不发生的概率，事件发生的概率函数表示为

P (y ∣ T_{i, j}, ϕ) = {[l_{ϕ} (T_{i, j})]}^{y} \times {[1 - l_{ϕ} (T_{i, j})]}^{1 - y} .

(12)

从优化损失函数生成网络中的权重转向映射T_i_，_j，以确保逻辑回归模型中由最大似然估计得出的结果与实际情况紧密对齐.利用似然函数构建一个损失函数参数生成网络的目标函数，用以描述内循环中 J 步迭代的联合概率.最终确定最优的网络参数 φ.似然函数的公式如下：

\begin{matrix} Q (ϕ) = P (y ∣ T_{i, j}, ϕ) = {[l_{ϕ} (T_{i, j})]}^{y} \times \\ {[1 - l_{ϕ} (T_{i, j})]}^{1 - y} . \end{matrix}

(13)

为方便计算，对式（13）取对数：

q (ϕ) = l n (Q (ϕ)) .

(14)

为了找到目标函数的最优值，使用基于梯度的方法来确定最佳的φ_i_，_j.这涉及将原始的最大化问题转化为最小化问题，可以采用梯度下降进行下一步计算.最终φ_i_，_j 的修订公式如下：

ϕ_{i, j} = ϕ_{i, j} - α \nabla_{ϕ_{i, j}} \overset{J}{\underset{j}{Σ}} \{(y^{(i)} - l_{ϕ} (T_{i, j})) T_{i, j}\} .

(15)

用于生成任务自适应损失函数参数的内循环优化过程如算法2所示.

1.3.3 通道注意力模块

通道注意力机制通常应用在 CNN 中，主要使用标量来表示和评估每个通道的重要性.由于通道注意力模块是一个轻量级通用模块，因此可以无缝集成到任何 CNN 架构中，开销可以忽略不计，且可以与基础 CNN 一起进行端到端训练.模块中间的特征图可以通过通道注意力模块在每个深度网络的每个卷积块上进行自适应细化^[21].通常，由于计算开销有限，通道注意力方法的核心步骤是为每个通道使用一个标量来进行计算^[26].假设 X∈R^C^×^H^×^W是网络中的图像特征张量，C 是通道数，H 是特征高度，W 是特征的宽度.注意力机制可以写成：

x_{att} = s i g m o i d (f_{c} (X)) .

(16)

其中：x_att∈R^C是注意力向量，f_c表示全连接层或一维卷积等映射函数.图2展示通道注意力模块与4-Conv中的卷积层集成的过程.图3描述了通道注意力模块的计算过程.通道的注意力图利用特征通道之间的关系生成.特征图的每个通道都充当一个特定的检测器^[27]，注意力模块会检查输入特征的各种通道.通道注意力机制通过评估每个通道的重要性来识别完成任务所需的最关键特征、内容或图像部分^[28-30].为了高效地计算通道注意力，使用平均池化来减小输入特征图的空间维度.此外，还利用最大池化来捕捉与特定对象特征相关的额外关键细节，从而帮助更精确的通道级注意力.

图2通道注意力模块示意

Fig.2Diagram of channel attention module

图3注意力模块计算过程

Fig.3Computation process of attention module

通过引入注意力机制，模型能够在多个特征或输入数据的不同通道之间分配不同的权重，从而突出对预测结果影响最大的通道．因此，通道注意力机制可以帮助模型自动学习并关注输入数据中最重要的部分．这样的机制有助于提高模型的可解释性，因为它能够揭示模型在决策过程中所关注的特定特征或数据区域．图4通过注意力权重展示了模型所关注的特征，从而为模型的决策提供直观的解释．

1.3.4 方法架构

本文尝试将通道注意力模块加入到元学习框架中．经过实验证明，在 4-Conv 和 ResNet12 中加入通道注意力机制都有助于提高模型的泛化性．4-Conv 作为主干网络时，每个卷积块包括:一个卷积层（卷积核大小3×3，步长为 1，填充设置为 1，过滤器数量为 48）; 一个批量归一化层; 一个ReLU非线性激活层和一个2×2最大池化层．3×3的卷积核可以在视觉任务中表现出良好的特征提取能力，同时保持计算成本可控．过滤器数量设置为48是通过初步试验和经验选择的，以确保模型能够学习足够丰富的特征表示而不会过度复杂化．通道注意力模块放在第三和第四层卷积块之间，在模型更高层次的特征图上引入注意力机制，强化重要通道的特征权重，有助于提高模型的泛化能力．ResNet12作为主干网络时，一共有四个残差块，每个残差块包括:三个卷积层（卷积核大小为3×3，步长为1，填充设置为 1，过滤器数量为48）; 一个批量归一化层; 一个跳跃连接卷积层; 一个跳跃连接归一化层; 一个ReLU非线性激活层和一个2×2最大池化层．与4-Conv相同的是，在ResNet12中的第三和第四个残差块之间加入通道注意力模块，以更有效地提高模型对重要特征的识别能力．元优化器是Adam，学习率设置为0.001．在元训练阶段，一共有100个 epoch，每个 epoch 有500次迭代．在每次迭代中对n个类进行n路分类，每个类采样k个标记示例．在元测试阶段使用15个样本．

在任务自适应损失函数参数生成网络l_φ 中，使用逻辑回归和多层感知器.生成损失函数元网络也采用逻辑回归和多层感知器.两个元网络用于生成仿射变换参数 γ 和β 或者损失函数参数φ.整体框架如图5所示.

图4可视化样本1 中的48个通道的权重

Fig.4Visualize the weights of 48 channels in Sample 1

图5ML-LRCA的整体框架

Fig.5Architecture of the ML-LRCA

2 实验结果分析

ML-LRCA具有可解释性和自适应性．在少样本分类、少样本回归和跨领域少样本分类中进行实验，来验证 ML-LRCA 的性能．实验中使用了标记的支持集和未标记的查询集．

2.1 少样本分类

在少样本分类中，每个任务被定义为 n-way k-shot，其中，n是分类的数量，k是每个类的样本（shot）数量．

2.1.1 数据集

在少样本学习中使用两个最常用的数据集miniImageNet^[31]、 tiredImageNet^[32]进行实验．miniImageNet通常在少样本学习的初步研究和评估阶段，用于验证模型在少量样本下的泛化能力和学习能力．tiredImageNet 则由于其更大规模和难度的特性，多用于评估模型在更具挑战性的条件下的表现，以及测试模型对于视觉相似类别的泛化能力．两个数据集均由三个不相交的子集（训练集、验证集和测试集）组成，每个子集由大小为84×84 的图像组成．miniImageNet 包含较少类别（100个类别），每个类别有600张图像．tiredImageNet 包含更多类别（608个类别），平均每个类别有600张图像．与miniImageNet 不同，tiredImageNet 将数据分成多个层级，每个层级包含不同数量的类别，这些类别在视觉上更加相似．miniImageNet 的100个类别使用随机采样法分类．其中，64个类用于元训练，16个用于元验证，20个用于元测试^[31]．tirediImageNet 根据 ImageNet^[33] 类层次结构分成 34 个类别．其中，20个类用于元训练，6个类用于元验证，8个类用于元测试^[32]．

2.1.2 实验结果

在 miniImageNet 和 tiredImageNet 上，将本文方法与其他 MAML 变体进行比较，结果如表1所示．评估方法使用两种典型设置:5-way 5-shot 和 5-way 1-shot分类．实验结果表明，ML-LRCA 将MAML^[2] 的性能提升约5个百分点．对于在本地重现的MAML（表中以MAML+的形式体现），其性能也提高约4个百分点．当ML-LRCA与MAML++^[4] 或 ALFA^[15] 结合时，分类任务的准确率最大提高约7个百分点．ML-LRCA 与 MAML+L2F^[34] 或 MetaOpt^[35] 对比时，ML-LRCA分别在1-shot和5-shot展现了优越性．

2.2 少样本回归

本文还进行了少样本回归实验，针对MAML和ML-LRCA分别测评它们在k-shot 回归问题中的均方误差（Mean-Square Error，MSE）和95% 的置信区间．在这项工作中，本文遵循 Finn等^[2]用于评估MAML的一般设置．具体来说:每个任务都涉及了从正弦波的输入到输出的回归，其中正弦波的幅度和相位在任务之间变化．任务分布p（T）是连续的，幅度在[0.1，0.5] 范围内变化，相位在[0，π] 范围内变化，输入和输出的维度均为1．在训练和测试期间，数据点x 从[-0.5，0.5] 均匀采样．回归器是一个基学习器，由3个大小为80的全连接层组成，中间有ReLU非线性激活函数．最后利用估计输出值

\hat{y}

和真实输出值y 之间的MSE来评估性能．

表1分类任务的测试准确率

Table1Test accuracy of classification tasks

注:+表示该模型在本地复现．

表2展示了MAML和ML-LRCA在5-shot、10-shot和20-shot的回归结果．结果表明，本文提出的ML-LRCA方法具有适用性和灵活性．ML-LRCA在不同的设置下都有不同程度的性能改进．

表2k-shot 回归的均方误差和 95% 的置信区间

Table2Mean-square error and 95% confidence intervals for k-shot regression

2.3 跨域少样本分类

Russakovsky 等^[33]提出的跨领域少样本分类解决了更具挑战性和实用性的少样本分类场景，其中，模型在一个领域中学习，并在另一个领域中进行分类．设计这种场景的目的是在元训练和元测试之间创建一个较大的领域差距，从而评估元学习算法对于元级别过拟合的敏感性．

2.3.1 数据集

跨领域少样本分类场景在miniImageNet上对算法进行元训练，在 CUB^[36]（CUB-200-2011）数据集上对算法进行元测试并进行评估．CUB 包含 200 种鸟类类别（100个元训练集、50 个元验证集和 50 个元测试集），与 miniImageNet 不同的是，CUB 的目标是细粒度分类．

2.3.2 实验结果

表3展示了MAML^[2]、ALFA^[15] 和 ML-LRCA 在 miniImageNet 元训练集上进行训练并在 CUB 元测试集上进行评估时的性能．与表1中少样本分类的结果类似，即使在更具挑战性的跨域少样本分类场景下，ML-LRCA 也能极大地提高 MAML 和 MAML+ALFA的泛化能力，准确率最大提升约18个百分点，展现了其较强的跨域学习能力．

表3跨域少样本分类的准确率（5-way 5-shot）

Table3Cross-domain few-shot classification accuracy (5-way 5-shot)

注:+表示该模型在本地复现．

2.4 消融实验

消融实验使用 MAML 作为基线，对 ML-LRCA 的通道注意力模块和损失函数参数生成元网络模块进行对比．在表4中可以观察到基于逻辑回归的损失函数参数生成元网络和通道注意力模块对模型具有积极影响．

表4ML-LRCA的消融实验

Table4Ablation studies of ML-LRCA

注:+表示该模型在本地复现．

2.5 可视化

图6展示了元网络之一g 生成的仿射变换系数γ 和β，这些系数在不同任务的每个内循环步骤中生成．由图6可以发现γ 和β 随着内循环迭代而变化，这表明ML-LRCA 在内循环优化过程中自适应地修改了损失函数，以响应学习状态的变化．此外，由元网络生成的参数随着任务的变化而变化，尤其是在最终的内循环迭代中．仿射变换参数的动态变化验证了ML-LRCA能够使损失函数很好地适应给定的任务．

图6可视化元网络g生产的仿射变换参数γ和β

Fig.6Visualize the affine transformation parameters γ and β generated by the meta-network g

3 结语

本文提出一种新颖的元学习框架——ML-LRCA．该框架通过在主干网络中嵌入通道注意力模块，显著提高了图像对通道的自适应性和模型对图像的可解释性．采用逻辑回归来构建的元网络，用于生成损失函数的参数，简化了元学习框架并提升其可解释性．同时，ML-LRCA 还能够在内循环优化过程中根据当前任务状态动态调整损失函数，从而更好地适应每个任务的特定需求，进而实现更优的泛化性能．ML-LRCA 的设计不仅适用于不同的 MAML 变体和应用领域，还支持半监督内循环优化，其中，标记的支持集和未标记的查询集联合使用以适应任务，进一步增强了模型的泛化能力．该框架有助于提升在少样本分类、少样本回归以及跨域学习等场景的性能，考虑到其对计算资源和数据较低的要求，未来有望扩展到大规模语言模型和通用人工智能应用领域．

数据可用性申明

本文在Github提供了开源代码:https://github.com/wangmaofa/New-ML-Framework.git．

图1逻辑回归模型的系数

Fig.1Coefficients of logistic regression model

下载: 全尺寸图片

图2通道注意力模块示意

Fig.2Diagram of channel attention module

下载: 全尺寸图片

图3注意力模块计算过程

Fig.3Computation process of attention module

下载: 全尺寸图片

图4可视化样本1 中的48个通道的权重

Fig.4Visualize the weights of 48 channels in Sample 1

下载: 全尺寸图片

图5ML-LRCA的整体框架

Fig.5Architecture of the ML-LRCA

下载: 全尺寸图片

图6可视化元网络g生产的仿射变换参数γ和β

Fig.6Visualize the affine transformation parameters γ and β generated by the meta-network g

下载: 全尺寸图片

表1分类任务的测试准确率

Table1Test accuracy of classification tasks

下载: 全尺寸图片

表2k-shot 回归的均方误差和 95% 的置信区间

Table2Mean-square error and 95% confidence intervals for k-shot regression

下载: 全尺寸图片

表3跨域少样本分类的准确率（5-way 5-shot）

Table3Cross-domain few-shot classification accuracy (5-way 5-shot)

下载: 全尺寸图片

表4ML-LRCA的消融实验

Table4Ablation studies of ML-LRCA

下载: 全尺寸图片

图1逻辑回归模型的系数

Fig.1Coefficients of logistic regression model

图2通道注意力模块示意

Fig.2Diagram of channel attention module

图3注意力模块计算过程

Fig.3Computation process of attention module

图4可视化样本1 中的48个通道的权重

Fig.4Visualize the weights of 48 channels in Sample 1

图5ML-LRCA的整体框架

Fig.5Architecture of the ML-LRCA

图6可视化元网络g生产的仿射变换参数γ和β

Fig.6Visualize the affine transformation parameters γ and β generated by the meta-network g

表1分类任务的测试准确率

Table1Test accuracy of classification tasks

表2k-shot 回归的均方误差和 95% 的置信区间

Table2Mean-square error and 95% confidence intervals for k-shot regression

表3跨域少样本分类的准确率（5-way 5-shot）

Table3Cross-domain few-shot classification accuracy (5-way 5-shot)

表4ML-LRCA的消融实验

Table4Ablation studies of ML-LRCA

图1逻辑回归模型的系数

Fig.1Coefficients of logistic regression model

图2通道注意力模块示意

Fig.2Diagram of channel attention module

图3注意力模块计算过程

Fig.3Computation process of attention module

图4可视化样本1 中的48个通道的权重

Fig.4Visualize the weights of 48 channels in Sample 1

图5ML-LRCA的整体框架

Fig.5Architecture of the ML-LRCA

图6可视化元网络g生产的仿射变换参数γ和β

Fig.6Visualize the affine transformation parameters γ and β generated by the meta-network g

表1分类任务的测试准确率

Table1Test accuracy of classification tasks

表2k-shot 回归的均方误差和 95% 的置信区间

Table2Mean-square error and 95% confidence intervals for k-shot regression

表3跨域少样本分类的准确率（5-way 5-shot）

Table3Cross-domain few-shot classification accuracy (5-way 5-shot)

表4ML-LRCA的消融实验

Table4Ablation studies of ML-LRCA

Vilalta R, Drissi Y. A perspective view and survey of meta-learning[J]. Artificial Intelligence Review,2002,18(2):77-95

Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[J].arXiv e-Print,2017,arXiv:1703.03400

李凡长, 刘洋, 吴鹏翔, 等. 元学习研究综述[J]. 计算机学报,2021,44(2):422-446. LI Fanchang, LIU Yang, WU Pengxiang,et al. A survey on recent advances in meta-learning[J]. Chinese Journal of Computers,2021,44(2):422-446

Antoniou A, Edwards H, Storkey A. How to train your MAML[J].arXiv e-Print,2017,arXiv:1810.09502

Bernacchia A. Meta-learning with negative learning rates[J].arXiv e-Print,2021,arXiv:2102.00940

Bohdal O, Yang Y X, Hospedales T. EvoGrad:efficient gradient-based meta-learning and hyperparameter optimization[J].arXiv e-Print,2021,arXiv:2106.10575

Li Z G, Zhou F W, Chen F,et al. Meta-SGD:learning to learn quickly for few-shot learning[J].arXiv e-Print,2017,arXiv:1707.09835

Rusu A A, Rao D, Sygnowski J,et al. Meta-learning with latent embedding optimization[J].arXiv e-Print,2018,arXiv:1807.05960

Starshak T. Negative inner-loop learning rates learn universal features[J].arXiv e-Print,2022,arXiv:2203.10185

Zou Y T, Liu F S, Li Q X. Unraveling model-agnostic meta-learning via the adaptation learning rate[C]//International Conference on Learning Representations(ICLR2022). April 25-29,2022,virtual. IMLS,2022:1-38

Wang M F, Gong Q Z, Chen H L,et al. Optimizing deep transfer networks with fruit fly optimization for accurate diagnosis of diabetic retinopathy[J]. Applied Soft Computing,2023,147:110782

Behl H S, Baydin A G, Torr P H S. Alpha MAML:adaptive model-agnostic meta-learning[J].arXiv e-Print,2019,arXiv:1905.07435

Lee Y, Choi S. Gradient-based meta-learning with learned layerwise metric and subspace[J].arXiv e-Print,2018,arXiv:1801.05558

Leng Z X, Wang M F, Wan Q,et al. Meta-learning of feature distribution alignment for enhanced feature sharing[J]. Knowledge-Based Systems,2024,296:111875

Baik S, Choi M, Choi J,et al. Meta-learning with adaptive hyperparameters[J]. Advances in Neural Information Processing Systems,2020,33:20755-20765

Wang M F, Gong Q Z, Wan Q,et al. A fast interpretable adaptive meta-learning enhanced deep learning framework for diagnosis of diabetic retinopathy[J]. Expert Systems with Applications,2024,244:123074

刘坚, 李树林, 陈涛. 基于优化随机森林模型的滑坡易发性评价[J]. 武汉大学学报(信息科学版),2018,43(7):1085-1091. LIU Jian, LI Shulin, CHEN Tao. Landslide susceptibility assesment based on optimized random forest model[J]. Geomatics and Information Science of Wuhan University,2018,43(7):1085-1091

Fukui H, Hirakawa T, Yamashita T,et al. Attention branch network:learning of attention mechanism for visual explanation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). June 15-20,2019, Long Beach, CA, USA. IEEE,2019:10697-10706

Xu K, Ba J L, Kiros R,et al. Show,attend and tell:neural image caption generation with visual attention[C].32nd International Conference on Machine Learning. July 6-11,2015, Lille, France. IMLS,2015,3:2048-2057

Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23,2018, Salt Lake City, UT, USA. IEEE,2018:7132-7141

Woo S, Park J, Lee J Y,et al. CBAM:convolutional block attention module[C]//15th European Conference on Computer Vision. September 8-14,2018, Munich, Germany. ECAV,2018:3-19

Baik S, Choi J, Kim H,et al. Meta-learning with task-adaptive loss function for few-shot learning[C]//2021 IEEE/CVF International Conference on Computer Vision(ICCV). October 10-17,2021, Montreal, QC, Canada. IEEE,2021:9445-9454

Jiang X, Havaei M, Varno F,et al. Learning to learn with conditional class dependencies[C]//International Conference on Learning Representations(ICLR2019). May 6-9,2019, New Orleans, LA, USA. IMLS,2019:1-11

Perez E, Strub F, De Vries H,et al. FiLM:visual reasoning with a general conditioning layer[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2018,32(1):1-10

Oreshkin B, Rodríguez López P, Lacoste A. Tadam: Task dependent adaptive metric for improved few-shot learning[J]. Advances in Neural Information Processing Systems,2018,31:1-11

Qin Z Q, Zhang P Y, Wu F,et al. FcaNet:frequency channel attention networks[C]//2021 IEEE/CVF International Conference on Computer Vision(ICCV). October 10-17,2021, Montreal, QC, Canada. IEEE,2021:763-772

Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//13th European Conference on Computer Vision. September 6-12,2014, Zurich, Switzerland. ECAV,2014:818-833

王子民, 周悦, 关挺强, 等. 基于改进U2-Net网络的多裂肌MRI图像分割算法[J]. 南京信息工程大学学报,2024,16(3):364-373. WANG Zimin, ZHOU Yue, GUAN Tingqiang,et al. Segmentation of multifidus muscle MRI images via improved U2-Net[J]. Journal of Nanjing University of Information Science & Technology,2024,16(3):364-373

黄驰涵, 沈肖波. 基于融合注意力和特征增强的跨模态行人重识别[J]. 南京信息工程大学学报,2024,16(4):451-460. HUANG Chihan, SHEN Xiaobo. Cross-modal person re-identification based on fused attention and feature enhancement[J]. Journal of Nanjing University of Information Science & Technology,2024,16(4):451-460

师伟婕, 黄静静, 王茂发. 基于两种U型网络的钢铁图像缺陷检测方法对比[J]. 北京信息科技大学学报(自然科学版),2021,36(1):63-68. SHI Weijie, HUANG Jingjing, WANG Maofa. Comparison of defect detection methods of steel image based on two U network models[J]. Journal of Beijing Information Science & Technology University,2021,36(1):63-68

Ravi S, Larochelle H. Optimization as a model for few-shot learning[C]//International Conference on Learning Representations(ICLR2017). April 24-26,2017, Toulon, France. IMLS,2017:1-11

Ren M, Triantafillou E, Ravi S,et al. Meta-learning for semi-supervised few-shot classification[J].arXiv e-Print,2018,arXiv:1803.00676

Russakovsky O, Deng J, Su H,et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision,2015,115(3):211-252

Baik S, Hong S, Lee K M. Learning to forget for meta-learning[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). June 13-19,2020, Seattle, WA, USA. IEEE,2020:2376-2384

Lee K, Maji S, Ravichandran A,et al. Meta-learning with differentiable convex optimization[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). June 15-20,2019, Long Beach, CA, USA. IEEE,2019:10649-10657

Chen W Y, Liu Y C, Kira Z,et al. A closer look at few-shot classification[J].arXiv e-Print,2019,arXiv:1904.04232

地址：江苏省南京市宁六路219号邮编：210044

联系电话：025-58731025 E-mail：nxdxb@nuist.edu.cn