0 引言

负荷监测方法有助于用户了解用电现状，减少能源消耗，也有助于电网公司实现科学的电力调度，从而达到节能减耗的目的．目前负荷监测有两种方法，即侵入式负荷监控（Intrusive Load Monitoring，ILM）和非侵入式负荷监控（Non-Intrusive Load Monitoring，NILM）．ILM需要在每个设备上安装至少一个传感器来分别监控负荷，而NILM只需要在每个家庭的总线上安装一个传感器．NILM在物理上很简单，但方法更为复杂，因此基于NILM的方法得到了更广泛的研究．为了提高能源效率和加快智能电网的发展^[1-3]，特别是在可再生能源日益普及^[4]的情况下，非侵入式负荷分解的问题受到广泛关注．

NILM的分解方法可分为基于事件和非基于事件（无事件）两种类型．基于事件的方法捕获切换事件期间设备状态的变化^[5]，这种方法通常需要高频采样以便提取丰富的特征以获得辨识高精度．一些相关工作在kHz的采样频率下提取了这些瞬态特征^[6-8]．非基于事件的方法不会特别检测任何设备的状态变化，相反会考虑所有设备电源状态．非基于事件的方法已经研究了隐马尔可夫模型^[9-12]，用于一般建模设备或优化框架^[13-14]．此外，一些研究人员还关注外部信息的能量分解，包括外界温度、时间或一周中的某一天也被视为重要特征^[15]，此类信息和个人消费习惯相关．传统方法分解精度较差:一方面，传统方法是基于人工特征的，而人工设计的特征很难有效地反映负荷的真实情况; 另一方面，传统方法往往是基于优化模型的，负荷分解问题的优化问题只能转化为有残差的组合优化，很难实现最优的求解．因此，传统方法获得的结果一般不理想．

在过去几年中，深度学习已成为NILM的一种流行方法^[16-17]．已有的结果表明，深度学习方法可以提高负荷特征的提取效率，从而提高NILM性能．然而，已有的工作并没有明确利用电力消耗数据的固有特性，对使用频率较低的负荷特征提取不充分，对负荷突变处的关注度不够，这些都影响了负荷分解的精度．传统的深度学习主要采用卷积神经网络或RNN（Recurrent Neural Networks，循环神经网络）两种方式，这两种网络对于时间序列的每个部分的特征提取的权重几乎是一样的，而使用频率较低的电器由于其数据相对较少，导致网络获得的信息相对较少．因此，传统的深度网络很难实现对使用频率较小的电器的准确分解．另外，负荷的突变表明某一电器发生状态变化，这种变化是需要关注的，但是目前的网络对时间序列上的特征并没有区别对待，因此对突变部分的关注不够，从而不能对负荷突变这种重要信息进行有效提取．

本文提出一种基于RNN的编码器-解码器模型，从聚合信号中提取特定于设备的功耗，并使用注意力机制对其进行增强．注意力机制具有增强神经网络表征能力的功能，可以定位输入序列中存在相关信息的位置．基于注意力的模型可以通过为聚合信号的每个位置分配重要性来帮助能量分解任务，聚合信号对应于目标设备状态变化的位置．此外，本文利用这些属性中的一个，即设备的开关状态概念．本文提出一种分类网络和回归网络，它采用一个子网络进行回归，另一个子网络进行开/关分类．通过将回归输出与分类概率相乘，形成最终估计，该模型输出带有开/关分类的功率估计．通过明确反映分类错误的损失函数，分类网络辅助回归网络计算功耗估计．本文提出的注意力时序网络模型（Attention Recurrent Neural Networks，ARNN）在公开数据集Wiki-Energy和UK-DALE上进行了测试，并使用不同的指标对性能进行了评估．结果表明，本文算法是最优的．

1 问题描述

1.1 负荷分解的定义

非侵入式负荷分解的本质是将家庭住宅已知的总功率信号分解出单一的负荷设备的功率信号．对于一个家庭住宅来说，总功率信号是指家中主电路上智能电表所测得的功率数据，因此进行负荷分解的目的是为了获悉某时间段内家庭中负荷设备的功率变化情况．假设家庭中共有M个电器设备，那么在某时刻t的负荷分解结果，由式（1）表示：

其中，P（t）表示t时刻智能电表获取的总功率数值，p_i表示该家中各个负荷设备的功率值，p_s（t）表示的则是电力线路中的噪声功率数值．目前基于模型的负荷分解方法，大多是在给定总功率数值P（t）的情况下，来预测单一负荷设备的功率数值p_i．

1.2 数据预处理

1.2.1 滑动输入提取数据

神经网络需要大量的训练样本进行微调，才能有良好的性能．除此之外，数据在输入神经网络之前，都要被转换成一致的输入维度，每个数据都被分段成恒等长度的向量，这就叫窗口．因此对训练序列和测试序列进行滑动处理．如图1所示，对训练序列的滑动窗口采用重叠滑动的方式增加数据，假设序列长度为M，在原始数据上切一个长度为N的窗口，滑动步长为1，再进行滑动操作，得到M-N+1个训练样本．同理，如图1b所示，在测试序列上采用非滑动窗口的方式，假设序列长度为H，就可以得到H/N个测试样本．

1.2.2 数据组合和标准化

本文在合成所有数据之后，把它们分为训练集、测试集，以便更好地训练和更准确地评价．将80%数据作为训练序列，剩余的20%作为测试序列．在训练神经网络之前一般要对输入和输出数据进行预处理，归一化处理是常用的一种处理方法，其本质上是一种线性变换，经此变换后能使数据的每一个分量都落在[0，1]或者[-1，1]之间，本文采用[0，1]区间，具体实现方式为

式中，x_i代表样本的输入或输出数据，x_min代表样本输入或输出数据的最小值，x_max则代表输入或输出数据的最大值，$\mathrm{}{x}_i^{\mathrm{\text{'}}}$代表经归一化后的数据．

2 模型介绍

本文提出了一种注意力时序网络模型（ARNN）来实现非侵入式负荷分解，它将回归网络与分类网络相结合来解决非侵入式负荷分解问题，可实现负荷特征的有效提取，提高负荷分解的准确率．

2.1 注意力机制

神经网络模型由编码器和解码器组成．编码器是一种RNN模型，它将输入序列$\left(x_1，x_2\cdots ，x_T\right)$作为输入，其中T是输入序列的长度，并将信息编码为固定长度的向量$\left({\mathit{h}}_1，{\mathit{h}}_2，\cdots ，{\mathit{h}}_T\right)$，这有利于完整的概括整个输入序列．解码器也是一个RNN模型，它使用单个上下文向量$\mathit{c}={\mathit{h}}_T$作为输入进行初始化，并逐向量生成输出序列$\left(y_1，y_2，\cdots ，y_N\right)$，其中N是输出序列的长度．在每个时间步中，h_t和σ_t分别表示运行过程中编码器和解码器的隐藏状态．这种传统的编码器-解码器框架存在两个问题.1）单一上下文向量设计的一个关键缺点是系统无法记住长序列:编码器的所有中间状态都被消除，只有最终的隐藏状态向量用于初始化解码器．这种技术仅适用于小序列，随着序列长度的增加，向量成为瓶颈，可能导致信息丢失^[18]．2）它无法捕获输入和输出序列之间的对齐需求，这是结构化输出任务的重要方面^[19]．如图2所示，注意力机制最初由Bahdanau等^[20]为机器翻译引入，他们的方法的新颖之处在于引入了一个对齐函数，这样，神经网络可以同时学习输入输出的对齐和平移．注意力机制的中心思想不是丢弃隐藏编码器状态，而是组合并利用所有状态，以便构造解码器，生成输出序列所需的上下文向量．该机制通过学习输入序列上的注意力权重，对存在相关信息的位置集进行优先级排序．

本文所提出的ARNN模型中所使用的注意力机制便是为了解决上述问题，通过注意力机制在输入序列上训练得到相关权重，并进行优先级排序．基于注意力的模型可以通过将重要性分配给聚合信号的每个位置（对应于目标设备的状态变化），从而帮助能量分解任务，这使得神经网络能够将其表征能力集中在聚合信号中目标设备的选定时间步上，而不是集中在非目标设备的激活上，使得预测结果更为准确．

对于NILM问题，聚合功耗与相应设备的负载完全一致，并且这种一致性是提前知道的．因此，为了关注激活设备在聚合信号中的作用，本文使用了文献^[20]提出的简化注意力模型，该模型利用编码器的相对重要性将编码器的所有隐藏状态结合起来．注意机制可以表述为

$e_t=a\left(h_t\right),$

${\mathit{\alpha }}_t=\mathrm{e}\mathrm{x}\mathrm{p}\left(e_t\right)/\sum _{j=1}^T\mathrm{e}\mathrm{x}\mathrm{p}\left(e_j\right),$

其中，α是可学习函数，仅取决于编码器h_t的隐藏状态向量．函数α可以通过前馈网络实现，该网络学习特定的注意权重α_t，该权重确定h_j的重要性得分，并使得网络识别输出更高权重的时间步．

2.2 模型设计

设备激活的持续时间用于确定为NILM建模选择输入和输出序列的窗口大小．准确地来说，设${\mathit{X}}_{t，L}=\left({\mathit{x}}_t，\cdots ，{\mathit{x}}_{t+L-1}\right)\text{和}{\mathit{Y}}_{t，L}^i=\left({\mathit{y}}_t^i，\cdots ，{\mathit{y}}_{t+L-1}^i\right)$分别是从时间t开始的长度为L的部分聚合序列和应用序列．此外，构建了辅助状态序列$\left(\left(s_1^i，\cdots ，s_t^i\right)\right.$，其中$s_t^i\in \left\{\mathrm{0，1}\right\}$表示设备i在时间t的开/关状态．当消耗量大于某个阈值时，设备的状态被视为“开”，当消耗量小于或等于同一阈值时，设备的状态被视为“关”．笔者的想法是利用分类网络作为辅助网络来提高负荷分解的准确率，即将分类网络与回归网络联合训练．这里的区别在于，通过使用基于RNN的神经网络和注意机制来执行回归任务，从而生成更准确的功耗估计．通过设计的注意机制加强回归网络检测某些事件（打开或关闭设备）和特定信号部分（高功耗电器），并赋予其更大的权重，而分类网络通过区分电器开关状态来帮助分解过程．

如图3所示，编码器网络由一个具有4个一维卷积层（Conv1D）的CNN（Convolutional Neural Network，卷积神经网络）组成，该CNN具有ReLU激活功能，该功能处理输入聚合信号并提取设备特定的签名作为一组特征映射．最后，RNN将特征映射集作为输入，并生成隐藏状态序列，汇总聚合信号的所有信息．本文使用双向LSTM（长短时记忆网络）来获得隐藏状态h_t，它融合了来自两个方向的信息．双向LSTM由正向LSTM（从左到右读取序列）和反向LSTM（从右向左读取序列）组成．编码器隐藏状态的最终序列是通过从两个方向串联隐藏状态向量获得的．编码器和解码器之间的注意单元由单层前馈神经网络组成，该神经网络计算注意权重，并返回上下文向量作为编码器输出随时间的加权平均值．并非所有由CNN生成的特征图在识别目标设备的激活方面都有相同的贡献．因此，注意机制捕获设备的显著激活，提取出比其他机制更有价值的特征图进行分解．实现的注意单元如图4所示．

计算公式如下:

${\mathit{h}}_t={\left[\overrightarrow{{\mathit{h}}_t};\overleftarrow{{\mathit{h}}_t}\right]}^{\mathrm{T}}$

${\mathit{e}}_i={\mathit{V}}_a^{\mathrm{T}}\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\mathit{W}}_a{\mathit{h}}_t+{\mathit{b}}_a\right),$

${\mathit{\alpha }}_t=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({\mathit{e}}_t\right)$

其中，V_a，W_a和b_a是与架构的其他组件共同学习的注意参数．注意单元的输出是用作以下解码器的输入向量的上下文向量c．通过将回归输出与概率分类输出相乘，获得功耗的最终估计值:

通过回归输出与概率分类预测结果相乘的方式所获得预测结果准确结果更为精确．

3 实验

3.1 评价指标

负荷分解方法涉及到多个环节和步骤，每个环节都会在不同程度上影响到整体方法的分解性能，因此需要一个全面、细致的算法性能评估，以获得全方位的评估信息，便于比较各种算法的优劣．根据先前的研究工作，在评估NILM方法上，本文使用平均绝对误差（Mean Absolute Error，MAE）和信号聚合误差（Signal Aggregate Error，SAE）来进行NILM各方法性能的评估．MAE主要是用来衡量每个时刻分解得到的单个负荷设备的功率和真实功率的平均误差，反映了分解模型在瞬时的负荷分解能力．具体公式为

其中，g_t是在该时刻t上某个负荷设备的真实消耗功率，而p_t是在该时刻t上由总功率分解得到的功率，T表示的是时刻点的数量．但对于某些负荷设备来说，每个时间点的误差并不十分明显和重要，因此只对较长时间内总功率的误差感兴趣．SAE用来衡量每个家庭在整个时间段内总能耗的误差，具体公式为

除此之外，当负荷分解时，通过阈值化区分负荷设备的启停状态（ON/OFF），将负荷分解任务转化为负荷识别任务，对此任务进行评估，以获得更多的评估信息，全方面地评价算法性能．为了判断负荷的开关状态，先要设定功率阈值:水壶2 000 W、空调100 W、冰箱50 W、微波炉200 W、洗衣机20 W、洗碗机10 W．使用召回率（Recall，R）、精确率（Precision，P）、准确率（Accuracy，A）、F1值（F₁）来评估负荷分解模型是否有对负荷的开关状态进行正确分类，以此判断分解性能的好坏．

式中:TP表示负荷在真实数据中开启而在预测中也打开的样本总数; FN表示负荷在真实数据中开启而在预测中关闭的样本总数; FP表示负荷在真实数据中关闭而在预测中开启的样本总数; TN表示负荷在真实数据中关闭而在预测中也是关闭的样本总数; M表示真实数据中负荷开启的样本总数; N表示真实数据中负荷关闭的样本总数．

3.2 数据集简介

Wiki-Energy数据集是Pecan Street公司发布的具有研究性质的电力数据集，是当前世界上研究电力负荷分解最丰富的住宅电力能源数据库．它总共包含了将近600多个家庭用户在一段时间内采集到的电力数据，包括单个负荷以及家庭总电力消耗功率，所有负荷和住宅的有功功率均以1/60 Hz的采样频率获取．电力数据的采集工作开始于2011年，但是仍未停止，数据库依旧在扩充，为非侵入式负荷分解的研究提供了很好的数据支撑．

使用NILMTK工具包从Wiki-Energy元数据中提取5种负荷电器作为研究对象:空调、冰箱、微波炉、洗衣机、洗碗机．选择这几种负荷的主要原因在于:1）这几种负荷在多个家庭中存在，意味着负荷数据能够包含一些同类负荷变化，对于网络模型的训练来说具有更好的泛化性；2）一个家庭中负荷种类繁多，而这几种负荷已经具有不同负荷特性和不同工作周期，没有必要对每一个负荷进行实验，任务量大，时间成本高；3）家庭中有一些功率较低的负荷，如手机充电器，容易受到其他信号的干扰，分解难度大，而且对于整体用电数据功率可以忽略不计，因此也不做这类电器的研究；4）这几种负荷已经占了家庭中绝大部分能量，就意味着负荷分解的结果对家庭的节能减耗是有一定意义的.因此选择这些负荷能够满足本文的研究目的．

3.3 实验结果与分析

在数据集Wiki-Energy中的22号家庭上进行仿真实验，使用以上选择的几个负荷分解评估指标来对比各模型的分解性能．图5是KNN（K-Nearest Neighbor，K近邻）算法、DAE（Deep Auto Encoder，深度自编码器）算法、RF（Random Forest，随机森林）、XGBoost、SVR（Support Vector Regression，支持向量回归机）、LSTM（Long Short-Term Memory，长短时记忆网络）、CNNs-s（CNN sequence-to-sequence）、CNNs-p（CNN sequence-to-point）、ARNN算法在空调、冰箱、微波炉、洗衣机、洗碗机上的负荷分解效果对比，其中，KNN、DAE、RF、XGBoost、SVR是机器学习方法，LSTM、CNNs-s、CNNs-p、ARNN是深度学习算法．可以发现对于空调这种具有明显周期性规律的负荷设备而言，几种分解模型都能够非常有效地从总用电功率数据中分解出空调的消耗功率，分解效果非常相似，因此上述算法在面对这类负荷设备时是有一定的分解能力的．

对于冰箱而言，机器学习负荷分解模型与其他几种分解模型相比，分解出的消耗功率曲线与真实数据有着很大的数据波动，主要表现在峰值突变点上的识别能力很差．而在洗衣机和洗碗机这两种低使用率的负荷设备上，机器学习算法的分解能力在负荷功率接近于0部分的时刻点略差，较难准确地识别功率中的突变点．而ARNN这种基于卷积神经网络的分解模型能实现较准确的非侵入式负荷分解．总体来说，基于深度学习的非侵入式负荷分解模型的分解效果相比于传统机器学习的分解模型更好，分解性更为优越，具体数据由表1所示．

除此之外，表1描述了Wiki-Energy 22号家庭在以上负荷分解模型的评估指标，可以看出，在空调、冰箱、微波炉这3类负荷的MAE指标上，传统KNN算法和DAE算法两种负荷分解模型依旧有着不错的优势，这两种方法基本能够实现非侵入式负荷分解．DAE算法在洗衣机上取得了较好的分解性能．在SAE评估指标上，ARNN负荷分解模型在冰箱上实现了一段时间内总能量的最优分解．随机森林算法依靠模型特点在微波炉上也取得了一定的分解效果，但是总体指标上表现较差．

总体来说，对于冰箱和空调这两种常用的电器而言，它们的特征比较明显，相对比较容易进行识别，传统的方法都可以得到较好的效果．传统KNN负荷分解模型在洗衣机、洗碗机这两种低使用率的负荷上较难实现准确且有效的分解，是因为该算法提取特征不充分，无法有效利用负荷特征．而且从分解效果对比和评估指标对比上可以看出，基于深度学习的负荷分解模型能够取得更优秀的分解效果．

表2描述了Wiki-Energy 22号家庭的负荷运行状态在各传统算法上的评估指标对比结果.由表2可以看出，在Recall这个分类评估指标上，基于深度学习的负荷分解模型CNNs-s、CNNs-p和ARNN模型在空调、微波炉、洗碗机这3个负荷上是明显优于基于传统机器学习的负荷分解模型的，表明深度学习模型能更好地表征负荷特征，准确识别出负荷设备启停的运行状态．整体而言，在Accuracy和F1值两个分类评估指标上看，深度学习算法在多个负荷设备上依旧表现良好．

为能够具体细致地观察分解效果，利用负荷局部分解效果进行分析．图6是部分代表算法在每个负荷设备上的局部效果对比．图6表明ARNN模型有着更优秀的算法性能，相比于其他模型而言，能更好地拟合实际功率曲线．而针对特征较为稀疏的负荷设备而言，机器学习算法的拟合能力比较差，而ARNN模型在一定程度上仍然能很好地拟合洗衣机和洗碗机的功率曲线．

3.4 泛化实验

为验证ARNN模型的泛化性能，在UK-DALE 5号家庭进行相关对比实验．在该家庭电力数据中选择水壶、冰箱、微波炉、洗衣机和洗碗机这5种典型负荷进行实验并分析．分解结果如图7所示．

DAE算法在水壶、洗衣机和洗碗机的分解表现较好，在冰箱和微波炉上的表现很差．对于微波炉、洗衣机和洗碗机这三种不常用的负荷而言，与两种浅层神经网络的CNN算法相比，ARNN有更出色的分解效果，主要是由于网络自身的结构优势可以更好地检测到功耗的峰值状况和负荷开关的运行状态变化．

表3是UK-DALE 5号家庭上几种算法的负荷分解评估指标对比．在MAE指标上，ARNN网络模型在水壶、冰箱、洗衣机和洗碗机上误差最小，表现最好．在SAE指标上，ARNN网络模型在水壶、冰箱和洗衣机上误差最小．因此综合这两个负荷分解评估指标来看，ARNN在UK-DALE上也取得了更加优越的分解表现，证明ARNN的网络结构在非侵入式负荷分解的应用上具有优越性和泛化性．

利用召回率、准确度等负荷启停运行状态的评估指标进一步评价算法的分解性能．表4是包含本文所提出的ARNN模型在内的9种算法在UK-DALE 5号家庭的负荷开关运行状态指标对比．在Accuracy和F1指标上看，ARNN网络模型在这几类负荷上取得了最好的数值表现，能够非常准确地识别出负荷启停的运行状态．经典的KNN算法在微波炉和洗衣机上表现不错，也能判断出电器的启停状态，但在其他电器上表现并不理想．综合4个指标来看，ARNN网络模型相比于两个卷积神经网络模型表现良好，主要是本文提出的网络结构提升了对时序负荷特征的提取能力．综合图7、表3和表4，基于ARNN的非侵入式负荷分解精度要明显优于两种浅层的卷积神经网络模型．

对于UK-DALE数据集，KNN算法亦对于冰箱有较好的MAE指标，但是分解表现较差，因此选择4个负荷的局部分解结果来观察．图8是UK-DALE数据样本的局部负荷分解表现，观察KNN在冰箱和洗碗机上的分解曲线，它在负荷功耗的峰值区域表示不好，曲线略有毛刺．但是在功率为0的范围表现较好，因此降低了平均绝对误差．综上4个局部分解效果图，ARNN网络模型的负荷分解结果相比于其他算法与真实功耗最为接近，说明ARNN分解性能优于其他算法．在WikiEnergy数据集和UK-DALE数据集的两个实验结果上，ARNN模型依据自身的结构优势，提出的注意力机制提升了网络对低频负荷特征的提取能力，利用辅助分类网络融合有用的设备开关状态，比其他模型具有更好的分解效果和泛化性能．

4 结语

本文提出了一种新的针对NILM问题的深度神经网络体系结构，其特点是具有编码器-解码器框架的注意力机制，以从聚合信号中提取特定于设备的功耗．回归网络中卷积层和LSTM层的集成有助于特征提取，并允许建立更好的设备模型，对回归任务使用本文所建议的模型大大提高了网络提取和利用信息的能力．实验结果表明，与深度学习技术相比，该模型显著提高了数据集所有设备的负载识别精度和泛化能力．基于深度学习算法需要一定的数据集进行训练才能提高模型的分解性能，针对不同特征类型的数据样本需要重新训练和网络调优，这种建立方式较为复杂耗时，因此未来的工作应该集中在基于深度学习和联合优化的非侵入式负荷分解应用中．

表4（续）

参考文献