引 en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

基于多注意力机制集成的非侵入式负荷分解算法

  • 王赟1

    机 构：

    1. 1.上海海事大学物流工程学院,上海， 201306 2.南京信息工程大学自动化学院,南京， 210044 3.同济大学电子与信息工程学院,上海， 201804 4.广东海洋大学电子与信息工程学院,湛江， 524088

    ×
  • ，葛泉波2
  • ，姚刚1

    机 构：

    1. 1.上海海事大学物流工程学院,上海， 201306 2.南京信息工程大学自动化学院,南京， 210044 3.同济大学电子与信息工程学院,上海， 201804 4.广东海洋大学电子与信息工程学院,湛江， 524088

    ×
  • ，王梦梦3
  • ，姜淏予4

1.上海海事大学物流工程学院,上海， 201306 2.南京信息工程大学自动化学院,南京， 210044 3.同济大学电子与信息工程学院,上海， 201804 4.广东海洋大学电子与信息工程学院,湛江， 524088；

Non-intrusive load decomposition model based on multi-attention mechanism integration

  • ANG Yun1

    Affiliation：

    1. 1.Logistics Engineering College,Shanghai Maritime University,Shanghai 201306 2.School of Automation,Nanjing University of Information Science & Technology,Nanjing 210044 3.College of Electronic and Information Engineering,Tongji University,Shanghai 201804 4.College of Electronic and Information Engineering,Guangdong Ocean University,Zhanjiang 524088

    ×
  • ，GE Quanbo2
  • ，YAO Gang1

    Affiliation：

    1. 1.Logistics Engineering College,Shanghai Maritime University,Shanghai 201306 2.School of Automation,Nanjing University of Information Science & Technology,Nanjing 210044 3.College of Electronic and Information Engineering,Tongji University,Shanghai 201804 4.College of Electronic and Information Engineering,Guangdong Ocean University,Zhanjiang 524088

    ×
  • ，WANG Mengmeng3
  • ，JIANG Haoyu4

1.Logistics Engineering College,Shanghai Maritime University,Shanghai 201306 2.School of Automation,Nanjing University of Information Science & Technology,Nanjing 210044 3.College of Electronic and Information Engineering,Tongji University,Shanghai 201804 4.College of Electronic and Information Engineering,Guangdong Ocean University,Zhanjiang 524088；

作者简介:

王赟,女,硕士生,主要研究方向为非侵入式负荷分解等.wangyunxxxxxx@163.com

通讯作者:

葛泉波,男,博士,教授,从事信息融合等方面的教学与科研工作.quanboge@163.com

中图分类号:TP18

文献标识码:A

DOI:10.13878/j.cnki.jnuist.20220516001

参考文献 1
余贻鑫,刘博,栾文鹏.非侵入式居民电力负荷监测与分解技术[J].南方电网技术,2013,7(4):1-5 YU Yixin,LIU Bo,LUAN Wenpeng.Nonintrusive residential load monitoring and decomposition technology[J].Southern Power System Technology,2013,7(4):1-5
查找原文
参考文献 2
Nalmpantis C,Vrakas D.Machine learning approaches for non-intrusive load monitoring:from qualitative to quantitative comparation[J].Artificial Intelligence Review,2019,52(1):217-243
查找原文
参考文献 3
邓晓平,张桂青,魏庆来,等.非侵入式负荷监测综述[J].自动化学报,2022,48(3):644-663 DENG Xiaoping,ZHANG Guiqing,WEI Qinglai,et al.A survey on the non-intrusive load monitoring[J].Acta Automatica Sinica,2022,48(3):644-663
查找原文
参考文献 4
Gopinath R,Kumar M,Joshua C,et al.Energy management using non-intrusive load monitoring techniques state-of-the-art and future research directions[J].Sustainable Cities and Society,2018,52(2):1-7
查找原文
参考文献 5
张晓东.基于深度学习算法的非侵入式负荷分解研究[D].南京:南京信息工程大学,2021 ZHANG Xiaodong.Research on non-intrusive load decomposition based on deep learning algorithm[D].Nanjing:Nanjing University of Information Science & Technology,2021
查找原文
参考文献 6
代业明,高红伟,高岩,等.具有电力需求预测更新的智能电网实时定价机制[J].电力系统自动化,2018,42(12):58-63 DAI Yeming,GAO Hongwei,GAO Yan,et al.Advances and perspectives on applications of deep learning in visual object detection[J].Acta Automatica Sinica,2018,42(12):58-63
查找原文
参考文献 7
Donato P G,Hernández Á,Funes M A,et al.Review of NILM applications in smart grids:power quality assessment and assisted independent living[C]//2020 Argentine Conference on Automatic Control(AADECA).October 28-30,2020,Buenos Aires,Argentina.IEEE,2020:1-6
查找原文
参考文献 8
Armel K C,Gupta A,Shrimali G,et al.Is disaggregation the holy grail of energy efficiency?The case of electricity[J].Energy Policy,2013,52:213-234
查找原文
参考文献 9
程祥,李林芝,吴浩,等.非侵入式负荷监测与分解研究综述[J].电网技术,2016,40(10):3108-3117 CHENG Xiang,LI Linzhi,WU Hao,et al.A survey of the research on non-intrusive load monitoring and disaggregation[J].Power System Technology,2016,40(10):3108-3117
查找原文
参考文献 10
Liang J,Ng S K K,Kendall G,et al.Load signature study.part I:basic concept,structure,and methodology[J].IEEE Transactions on Power Delivery,2010,25(2):551-560
查找原文
参考文献 11
Hart G W.Nonintrusive appliance load monitoring[J].Proceedings of the IEEE,1992,80(12):1870-1891
查找原文
参考文献 12
Hart G W,Kern E C,Schweppe F C.Non-intrusive appliance monitor apparatus:US4858141[P].1989-08-15
查找原文
参考文献 13
孙毅,崔灿,陆俊,等.基于遗传优化的非侵入式家居负荷分解方法[J].电网技术,2016,40(12):3912-3917 SUN Yi,CUI Can,LU Jun,et al.A non-intrusive household load monitoring method based on genetic optimization[J].Power System Technology,2016,40(12):3912-3917
查找原文
参考文献 14
Ding G F,Wu C H,Wang Y,et al.A novel non-intrusive load monitoring method based on quantum particle swarm optimization algorithm[C]//2019 11th International Conference on Measuring Technology and Mechatronics Automation(ICMTMA).April28-29,2019,Qiqihar,China.IEEE,2019:230-234
查找原文
参考文献 15
吴香华,华亚婕,官元红,等.基于CNN-Attention-BP的降水发生预测研究[J].南京信息工程大学学报(自然科学版),2022,14(2):148-155 WU Xianghua,HUA Yajie,GUAN Yuanhong,et al.Application of CNN-Attention-BP to precipitation forecast[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2022,14(2):148-155
查找原文
参考文献 16
郭佳丽,邢双云,栾昊,等.基于改进的LSTM算法的时间序列流量预测[J].南京信息工程大学学报(自然科学版),2021,13(5):571-575 GUO Jiali,XING Shuangyun,LUAN Hao,et al.Prediction of time series traffic based on improved LSTM algorithm[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(5):571-575
查找原文
参考文献 17
Kelly J,Knottenbelt W.Neural NILM:deep neural networks applied to energy disaggregation[C]//Proceedings of the2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments.November 4-5,Seoul,South Korea.New York,NY,USA:ACM,2015.DOI:10.1145/2821650.2821672
查找原文
参考文献 18
Krystalakos O,Nalmpantis C,Vrakas D.Sliding window approach for online energy disaggregation using artificial neural networks[C]//Proceedings of the10th Hellenic Conference on Artificial Intelligence,2018:1-6
查找原文
参考文献 19
García-Pérez D,Pérez-López D,Díaz-Blanco I,et al.Fully-convolutional denoising auto-encoders for NILM in large non-residential buildings[J].IEEE Transactions on Smart Grid,2021,12(3):2722-2731
查找原文
参考文献 20
蒙亮,于超,张希翔,等.基于一维卷积神经网络和自注意力机制的非侵入式负荷分解[J].电力大数据,2020,23(10):1-8 MENG Liang,YU Chao,ZHANG Xixiang,et al.Non-intrusive load disaggregation based on 1D convolutional neural network and self-attention mechanism[J].Power Systems and Big Data,2020,23(10):1-8
查找原文
参考文献 21
余登武,刘敏,汪元芹.基于GRNN与注意力机制模型的非侵入式家用负荷分解[J].智慧电力,2021,49(3):74-79 YU Dengwu,LIU Min,WANG Yuanqin.Non-invasive household load decomposition based on GRNN and attention mechanism model[J].Smart Power,2021,49(3):74-79
查找原文
参考文献 22
Yang M Z,Li X C,Liu Y.Sequence to point learning based on an attention neural network for nonintrusive load decomposition[J].Electronics,2021,10(14):1657
查找原文
参考文献 23
Zhou H Y,Zhang S H,Peng J Q,et al.Informer:beyond efficient transformer for long sequence time-series forecasting[J].arXiv e-print,2020,arXiv:2012.07436
查找原文
参考文献 24
Zhu R J,Liao W L,Wang Y S.Short-term prediction for wind power based on temporal convolutional network[J].Energy Reports,2020,6:424-429
查找原文
参考文献 25
李梅,宁德军,郭佳程.基于注意力机制的CNN-LSTM模型及其应用[J].计算机工程与应用,2019,55(13):20-27 LI Mei,NING Dejun,GUO Jiacheng.Attention mechanism-based CNN-LSTM model and its application[J].Computer Engineering and Applications,2019,55(13):20-27
查找原文
参考文献 26
Shih S Y,Sun F K,Lee H Y.Temporal pattern attention for multivariate time series forecasting[J].Machine Learning,2019,108(8/9):1421-1441
查找原文
参考文献 27
赵敬娇,赵志宏,杨绍普.基于残差连接和1D-CNN的滚动轴承故障诊断研究[J].振动与冲击,2021,40(10):1-6 ZHAO Jingjiao,ZHAO Zhihong,YANG Shaopu.Rolling bearing fault diagnosis based on residual connection and 1D-CNN[J].Journal of Vibration and Shock,2021,40(10):1-6
查找原文
参考文献 28
刘建伟,赵会丹,罗雄麟,等.深度学习批归一化及其相关算法研究进展[J].自动化学报,2020,46(6):1090-1120 LIU Jianwei,ZHAO Huidan,LUO Xionglin,et al.Research progress on batch normalization of deep learning and its related algorithms[J].Acta Automatica Sinica,2020,46(6):1090-1120
查找原文
参考文献 29
李晓,卢先领.基于双重注意力机制和GRU网络的短期负荷预测模型[J].计算机工程,2022,48(2):291-296,305 LI Xiao,LU Xianling.Method for forecasting short-term power load based on dual-stage attention mechanism and gated recurrent unit network[J].Computer Engineering,2022,48(2):291-296,305
查找原文
参考文献 30
刘建伟,刘俊文,罗雄麟.深度学习中注意力机制研究进展[J].工程科学学报,2021,43(11):1499-1511 LIU Jianwei,LIU Junwen,LUO Xionglin.Research progress in attention mechanism in deep learning[J].Chinese Journal of Engineering,2021,43(11):1499-1511
查找原文
参考文献 31
Niu Z Y,Zhong G Q,Yu H.A review on the attention mechanism of deep learning[J].Neurocomputing,2021,452:48-62
查找原文
参考文献 32
Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[J].arXiv e-print,2017,arXiv:1706.03762
查找原文
参考文献 33
Yu F,Koltun V,Funkhouser T.Dilated residual networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:636-644
查找原文
参考文献 34
He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778
查找原文
参考文献 35
Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the32nd International Conference on Machine Learning,2015,37:448-456
查找原文
参考文献 36
Zhang C Y,Zhong M J,Wang Z Z,et al.Sequence-to-point learning with neural networks for non-intrusive load monitoring[C]//Proceedings of the32nd AAAI Conference on Artificial Intelligence,2018:2604-2611
查找原文
参考文献 37
Tongta A,Chooruang K.Long short-term memory(LSTM)neural networks applied to energy disaggregation[C]//2020 8th International Electrical Engineering Congress(iEECON).March 4-6,2020,Chiang Mai,Thailand.IEEE,2020:1-4
查找原文
参考文献 38
Wang K,Zhong H W,Yu N O.Nonintrusive load monitoring based on sequence-to-sequence model with attention mechanism[J].Proceeding of the CSEE,2019,39(1):75-83
查找原文
参考文献 39
Babaei T,Abdi H,Lim C P,et al.A study and a directory of energy consumption data sets of buildings[J].Energy and Buildings,2015,94:91-99
查找原文
参考文献 40
Kelly J,Knottenbelt W.The UK-DALE dataset,domestic appliance-level electricity demand and whole-house demand from five UK homes[J].Scientific Data,2015,2:150007
查找原文
参考文献 41
Kolter J Z,Johnson M J.REDD:a public data set for energy disaggregation research[C]//Workshop on Data Mining Applications in Sustainability(SIGKDD),2011,25:59-62
查找原文
参考文献 42
刘仲民,侯坤福,高敬更,等.基于时间卷积神经网络的非侵入式居民用电负荷分解方法[J].电力建设,2021,42(3):97-106 LIU Zhongmin,HOU Kunfu,GAO Jinggeng,et al.Non-intrusive residential electricity load disaggregation based on temporal convolutional neural network[J].Electric Power Construction,2021,42(3):97-106
查找原文
参考文献 43
Kaselimi M,Doulamis N,Voulodimos A,et al.Context aware energy disaggregation using adaptive bidirectional LSTM models[J].IEEE Transactions on Smart Grid,2020,11(4):3054-3067
查找原文
目录contents

    摘要

    针对输入负荷特征对分解结果的重要程度不同,以及长短时记忆网络(LSTM)在捕捉长时间用电信息的时间依赖性方面受限导致分解误差高等问题,提出一种基于多注意力机制集成的非侵入式负荷分解算法．首先,利用概率自注意力机制对一维空洞卷积提取到的负荷特征进行优化处理,实现重要负荷特征的遴选;其次,采用时间模式注意力机制对LSTM的隐状态赋予权重,从而增强网络对长时间用电信息之间的时间依赖性的学习能力;最后,利用公开数据集UKDALE和REDD对所提分解模型的有效性和创新性进行验证．实验结果表明,与其他多种现有分解算法相比,基于多注意力机制集成的分解算法不仅具备更好的负荷特征遴选能力,而且能更加精确地建立特征之间的时间依赖关系,有效降低了分解误差．

    Abstract

    In view of the different importance of input load characteristics to the decomposition results and the high decomposition error caused by the limited time dependence of LSTM in capturing long-term power consumption information,a non-intrusive load decomposition model based on multi-attention mechanism integration is proposed.First,the probsparse self-attention mechanism is used to optimize the load characteristics extracted by one-dimensional dilated convolution.Then,the temporal pattern attention mechanism is used to give weight to the hidden state of LSTM,so as to enhance the learning ability of the network on the time dependence of long-term power consumption information.Finally,the validity of the proposed decomposition model is verified using the publicly available dataset UKDALE and REDD.Experimental results show that,compared with other decomposition algorithms,the proposed decomposition model based on multi-attention mechanism integration not only has the ability to select important load features,but also can correctly establish the time-dependent relationship between features and effectively reduce the decomposition error.

  • 0 引言

  • 非侵入式负荷分解又称为非侵入式负荷监测（Non-Intrusive appliance Load Monitoring，NILM），它具有经济性、实用性与安全性，更符合当下智能电网的发展，具有前瞻性[1-2]．NILM可向电力用户反馈电器精细化用电信息，使用户更清晰、更准确地了解用电设备的使用情况，从而引导用户改善自身的用电行为，实现用能的高效化和经济化[3]; 同时，电力公司可对分解结果加以分析与利用，加强电力需求侧的能源管理和负荷优化; 从用户侧入手，还可以挖掘更大的节能潜力，实现电网和电力用户之间的双向互动[4-5]．非侵入式负荷分解技术已然成为需求侧能源管理的有效技术手段[6-8]，因此研究非侵入式负荷分解具有重要的实际意义．

  • 目前，非侵入式负荷分解算法可以分为三大类:基于数学优化的、基于模式识别的和基于深度学习的[9-10]．Hart等[11-12]首先提出非侵入式负荷监测的基本概念和处理框架，将非侵入式负荷分解问题转化为数学优化问题．其主要思想是找到目标用电设备及其相应运行状态的一个最佳组合，使该组合的用电信息与总用电信息之间的差距最小[12-14]．但是这种分解算法只适用于有限运行状态的用电设备，对于具有连续运行状态或负荷特征相似的用电设备，却无法正确分解出单个电器的用电信息．为解决这一问题，研究人员开始探索将机器学习应用到分解问题中，并提出一类新的分解算法，即基于模式识别的分解算法．其主要思想是利用机器学习算法学习总用电信息的负荷特征与单个用电信息之间的关联模式，实现负荷分解．这类算法解决了数学优化方法所存在的问题，但是基于数学优化和基于模式识别的分解算法均需要手动提取负荷特征，存在较大的主观性[9]．

  • 深度学习在处理大数据问题[15-16]时具有强大的学习能力、非线性映射能力以及适应能力，因此研究人员开始将深度学习引入到非侵入式负荷分解领域，实现了负荷特征的自动提取，增加了分解算法的实用性．2015年，Kelly等[17]提出使用深度神经网络进行负荷特征的自动提取并实现负荷分解，建立3个基于深度神经网络架构的负荷分解算法，并在公开数据集上选用7个评估指标对模型进行评估，结果表明深度神经网络的分解结果在大多数情况下要优于组合优化和FHMM算法．文献[18]提出一种带有滑动窗口的网络架构，实现了总用电信息的实时分解．文献[19]提出一种基于全卷积去噪自编码器结构的负荷分解模型，与文献[17]中所提出的自动编码器相比，该方法具有更好的分解性能和更稳定的分解能力．虽然深度学习能自动提取负荷特征，但是实际情况下负荷特征的重要程度存在一定的差异性．为解决这一问题，文献[20]通过采用自注意力机制增强了模型对重要负荷特征的自动提取能力; 文献[21]将传统注意力机制与GRNN相结合，实现了关键负荷特征的提取; 文献[22]将Bahdabau注意力与自注意力同时引入分解模型中，有效降低了分解误差．然而自注意力机制在实际场景下的计算复杂度与数据长度的二次方成正比[23]，传统注意力机制也只能评估时间步的重要性，表明这两种注意力机制并不适用于评估负荷特征重要性．同时，用电信息时间关联性强、时间跨度大的特点，导致负荷分解算法在学习用电信息之间的时间依赖性时具有一定的局限性．

  • 本文使用概率自注意力机制（ProbSparse Self-Attention Mechanism）在降低计算复杂度的同时保证算法具备选择重要负荷特征的能力，采用时间模式注意力机制（Temporal Pattern Attention，TPA）增强算法对时间依赖性的学习能力，并将两种注意力机制进行集成融合，提出了一种基于多注意力机制集成的非侵入式负荷分解算法．该算法的主要改进性工作包括:

  • 1）利用空洞卷积来改善特征提取效果. 针对模型无法提取远距离负荷特征的问题，采用空洞卷积代替普通卷积来改善模型的初步特征提取部分，在不过多增加模型超参数的前提下提取到时间跨度更长、更丰富的负荷特征[24]．

  • 2）应用概率自注意力机制遴选重要特征. 现有的大多数负荷分解算法并未进一步对初步提取到的负荷特征的重要性进行评估，导致冗余特征过多．因此，在空洞卷积后引入概率自注意力机制[23]来衡量负荷特征对分解结果的重要性，实现对重要特征的筛选[25]．

  • 3）引入时间模式注意力机制增强算法对时间特征的处理能力． 针对部分负荷分解算法对负荷特征之间的时间依赖性建模能力较弱的问题，采用时间模式注意力机制[26]提升整个负荷分解算法处理时间特征的能力，增强对时间依赖性的建模水平．

  • 4）采用残差结构改善局部信息丢失问题. 考虑到空洞卷积在提取负荷特征时，因卷积核的不连续性常造成局部信息丢失问题，通过引入残差结构并将浅层特征与深层特征相结合，以此来保证了负荷特征的完整性[27]，同时采用批归一化加速模型训练过程[28]．

  • 1 基于多注意力机制集成的非侵入式负荷分解算法

  • 1.1 概率自注意力机制

  • 基于深度学习的负荷模型虽然能实现负荷特征的自动提取，但负荷特征对分解结果的重要程度存在一定的差异性[28]，文献[20]使用标准自注意力机制来解决这一问题．然而标准自注意力机制的计算复杂度使其在处理非常长的时间序列问题时（如电器用电信息）受到限制[29]．

  • 为解决该问题，本文采用概率自注意力机制代替标准自注意力机制降低计算复杂度．通过概率自注意力机制实现负荷特征的自主选择优化输入特征，提高模型处理负荷特征的能力．概率自注意力机制的工作原理[29-30]如图1所示．

  • 图1 概率自注意力机制的工作原理[29-30]

  • Fig.1 Working principle of probsparse self-attention mechanism[29-30]

  • 在概率自注意力机制中查询向量Q、键向量K和值向量V相同[23]，均为一个n×d的矩阵，即：

  • K=Q=V∈Rn×d
    (1)

  • 概率自注意力机制为减少计算量，从K中随机取出U=nln n个向量，按顺序重组得到K1的用于查询Q的稀疏度M.根据稀疏度M中前u=cln n（c为超参数）个最大值的索引，从Q中提取出相应位置的向量并组成Q1用于计算特征的重要性[23]（具体计算过程可参考文献[23]）.其中特征的重要程度表示为

  • A1=softmax⁡Q1Kd,
    (2)

  • 其中，d为向量的维度，A1为前u个稀疏度较大的值向量V的权值，其大小代表了部分特征的重要程度.将A1与值向量V相乘，就可以得到具备重要性权重的负荷特征，进而完成负荷特征的遴选.

  • 1.2 时间模式注意力机制

  • 本文所提算法使用长短时记忆网络（Long Short-Term Memory network，LSTM）处理概率自注意力机制输出的具有重要性权重的负荷特征，主要原因是LSTM能够有效提取到时间序列之间的某种依赖关系[28]．然而LSTM对时间跨度长的用电信息的历史特征记忆能力，会随着时间跨度的增加而逐渐下降[25]，导致分解算法的时间依赖性建模能力受到限制．

  • 针对上述问题，本文采用时间模式注意力机制（TPA）[26]衡量当前时刻LSTM的隐状态与历史隐状态所含信息的相关程度，加强了LSTM对较长时间序列的历史特征记忆能力，保证了分解算法对长时间用电信息依赖性的有效建模．TPA的工作原理[26]如图2所示．

  • 计算当前时刻LSTM的隐状态ht与各历史隐状态hi（i=1，2，···，t-1）之间的相关性:

  • ai=softmax⁡hthiT.
    (3)

  • 从而前t-1个时刻的隐状态对t时刻隐状态综合作用为

  • Vt=∑i=1t-1 hiai
    (4)

  • 最终可得到受历史信息影响的当前时刻输出：

  • ht'=Vtht.
    (5)

  • 1.3 两种机制集成的可行性分析

  • 负荷特征作为负荷分解的输入，是决定算法性能好坏的重要因素．不同时间点的负荷特征对分解结果的重要程度也具有差异性．基于深度学习的非侵入式负荷分解算法虽然可以实现负荷特征的自动提取，但是特征冗余度较高，训练出的分解模型性能也会受到影响[29]．因此，本文引入概率自注意力机制对负荷特征重要性进行评估．依据每个负荷特征对分解结果的重要程度，对重要负荷特征赋予较高的权值，实现负荷特征的筛选，加强一维空洞卷积特征提取能力的同时优化了LSTM的输入．

  • 图2 时间模式注意力机制的工作原理[26]

  • Fig.2 Working principle of temporal pattern attention mechanism[26]

  • 用电信息属于一种时间跨度长的序列数据，因此对负荷特征之间的时间依赖关系进行有效建模能够提升算法的分解性能，而深度学习中的LSTM网络虽然能有效学习负荷特征之间的依赖关系，但随着输入数据的长度增加，其对历史信息的记忆能力和对时间依赖性建模的能力会受到限制[30-32]．因此引入时间模式注意力机制来学习相关时间点特征之间的关联性，从而加强分解模型捕捉用电信息时间依赖性的能力，改善LSTM对长时序数据中历史信息的记忆时长．

  • 两种注意力机制在分解模型的构建中具有先后关系，具体集成架构[29]如图3所示．首先，将一维空洞卷积层提取到的初步负荷特征输入到概率注意力机制中，对负荷特征赋予相应权值，实现负荷特征的二次提取，降低冗余负荷特征对分解模型的影响．其次，将筛选过的负荷特征直接输入LSTM中进行时序性的学习，同时引入时间模式注意力机制加强模型对时间依赖性的建模能力．将两种注意力机制分别与卷积神经网络（CNN）和LSTM集成后便可得到一种新的分解算法．

  • 图3 两种注意力机制的集成架构

  • Fig.3 Integrated architecture of two attention mechanisms

  • 1.4 基于多注意机制集成的非侵入式负荷分解算法

  • 为有效解决负荷特征对分解结果的重要程度存在差异性，以及模型对长时间序列的时间依赖性学习能力不足导致分解误差高的问题，本文提出一种基于多注意力机制集成的非侵入式负荷分解算法，具体算法架构如图4所示．

  • 图4 基于多注意力机制的非侵入式负荷分解算法

  • Fig.4 Non-intrusive load decomposition algorithm based on multi-attention mechanism

  • 整个算法的优点分析如下:

  • 1）采用一维空洞卷积[33]代替普通一维卷积构建负荷特征的提取模块，两者区别如图5所示．优点是在不过多增加参数量的前提下增加感受野，有效提取到长时间序列数据中更加丰富精细的负荷特征．

  • 图5 普通卷积和空洞卷积的区别[33]

  • Fig.5 Differences between ordinary convolution and dilated convolution[33]

  • 普通一维卷积感受野若为k×1，通过设置空洞率r，可将感受野扩大至（k+r-1）×1，此时用电信息任意时刻t的空洞卷积F（t）[33]为

  • F(t)=∑i=0k+r-1 f(i)⋅P(t-r×i),
    (6)

  • 其中，f（i）表示卷积核中第i个参数，P（t-r×i）表示与卷积核第i个参数进行运算的t时刻的总功率值.

  • 2）在负荷特征重要性分析方面:采用概率自注意力机制对一维空洞卷积提取到的负荷特征进行重要性分析，概率自注意力机制的网络结构如图6所示．

  • 图6 概率自注意力机制的网络结构[28]

  • Fig.6 Network structure of probsparse self-attention mechanism[28]

  • bi=softmax⁡qikjT,
    (7)
  • ci=∑i=1u bivi,
    (8)

  • 式中，bi表示经过稀疏化后第i个负荷特征重要性的权重值，ci为赋予重要性权重后第i个负荷特征（u为稀疏化后的数量）.

  • 3）负荷特征的时间依赖性学习方面:采用时间模式注意力机制对LSTM当前隐状态对各历史隐状态的依赖性进行分析，时间模式注意力机制的网络结构如图7所示．

  • 图7 时间模式注意力机制的网络结构[28]

  • Fig.7 Network structure of temporal pattern attention mechanism[28]

  • ai=softmax⁡hthiT,
    (9)
  • ht'=∑i=1t-1 hiaiht,
    (10)

  • 式中，ai表示当前时刻隐状态和历史隐状态之间的关系，ht'为赋予重要性权重后t时刻的隐状态.

  • 4）模型中引入残差连接[33-34]将浅层负荷特征跨接到深层网络中以减少原始负荷特征的流失，同时引入批归一化（Batch Normalization，BN）[35]加速模型的训练速度.残差连接与批归一化的引入也可防止网络出现梯度消失与爆炸问题.残差连接如图10所示，残差连接输出：

  • H(x)=F(x)+x,
    (11)

  • 其中，F（x）为中间层输出，x为进行跳层连接的特征.

  • 图8 残差连接示意图[34]

  • Fig.8 Diagram of residual connection[34]

  • 1.5 简要小结

  • 将本文所提模型与基于CNN的负荷分解模型[36]、基于LSTM的负荷分解模型[37]和基于注意力机制的负荷分解模型[38]进行对比，4种分解模型之间的对比情况如表1所示．

  • 表1 算法对比数据

  • Table1 Algorithm comparison

  • 2 实验与分析

  • 2.1 数据集与目标设备的选取

  • 目前公开的用于负荷分解的数据集众多[39]，为了充分验证所提算法的有效性，本文采用两个公开数据集进行实验．UKDALE（UK recording Domestic Appliance-Level Electricity）数据集[40]包含英国5个家庭中10多个家用电器的用电数据，收集时间超过2年，其数据的采样周期为6 s．REDD（Reference Energy Disaggregation Dataset）数据集[41]包含美国6个家庭中20多个家用电器的用电信息，其数据采样周期为1 s或3 s．

  • 公开数据集中所含电器众多，本文在2个数据集中均选取洗碗机、冰箱、微波炉以及洗衣机4种用电设备．主要原因是这4种用电设备运行特性各不相同，如功耗变化快且运行时间短的洗碗机和洗衣机，具有近似周期运行特性的电冰箱，多运行状态且运行时间长的微波炉，所选各种用电设备运行特征如图9所示，这种选择可以全面且有效地验证负荷分解算法的分解有效性[42]．

  • 2.2 数据预处理

  • 本文实验选用低频有功功率数据进行分解．首先，将UKDALE数据集的数据按房屋划分为训练集和测试集，划分方式[36]如表2所示．

  • 表2 UKDALE中训练集和数据集划分

  • Table2 Training sets and test sets in UKDALE

  • 由于REDD数据集的数据采集存在不完整性，因此本文选用房屋1中的数据进行实验．为有效验证算法在REDD数据集上的有效性，4种电器均选取2011年4月31日之前的数据作为训练集，之后的数据作为测试集进行实验．

  • 其次，在训练模型之前需要对输入总功率数据和目标设备的功率数据进行归一化处理，以保证训练效率，因此需要了解所选用电设备的相关参数．表3列举了UKDALE中电器的各种相关参数[36]．本文

  • 其次，在训练模型之前需要对输入总功率数据和目标设备的功率数据进行归一化处理，以保证训练效率，因此需要了解所选用电设备的相关参数．表3列举了UKDALE中电器的各种相关参数[36]．本文使用的软件平台为 Windows-10专业版操作系统，Python 3.6.2（64 位）、 TensorFlow1.15.0 深度学习框架及其CPU 版本．

  • 表3 UKDALE中所选用电设备的相关参数

  • Table3 Relevant parameters of the selected domestic appliances in UKDALEW

  • 图9 UKDALE中各种用电设备运行特征

  • Fig.9 Operation characteristics of domestic appliances in UKDALE

  • 2.3 评价指标

  • 采用归一化总能量误差SAE[20]、平均绝对误差MAE[42]、均方根误差RMSE和归一化均方根误差NRMSE这4个评价指标来衡量本文所提出的负荷分解模型的分解能力[43]．

  • 归一化总能量误差:

  • ESA=∑t=1T y^t-∑t=1T yt∑t=1T yt
    (12)

  • 平均绝对误差：

  • E-MA=1T∑t=1T y^t-ytt
    (13)

  • 均方根误差：

  • ERMS=1T∑t=1T y^t-yt2.
    (14)

  • 归一化均方根误差：

  • ENRMS=∑t=1T y^t-yt2∑t=1T yt2.
    (15)

  • 其中，yt为时刻t的实际功率，t为时刻t的分解功率，T为实验中使用的采样数目.SAE可反映在规定时间内分解总能量值的差，其值越低，则模型的分解能力越好；MAE和RMAE均反映分解值与真实值之间的差值，但RMSE对一些异常的分解值更加敏感[43]； NRMSE可反映分解算法用于分解不同用电设备时的效果差异.

  • 2.4 实验结果分析

  • 为了验证本文所提模型的分解性能，选用文献[36]中的基于CNN的分解模型、文献[37]中的基于LSTM 的分解模型和文献[38]中的基于普通注意力机制的分解模型作为对比模型．考虑到深度学习模型一般存在不确定性以及偶然性，本文采用“平均值+标准差”的形式呈现模型的评价指标数值．

  • 4 个分解模型在UKDALE数据集上的分解性能比较如表4所示，可以看出:

  • 1）CNN分解模型在洗碗机的MAE指标上表现较好，本文所提算法在其他三种电器上的MAE指标均有所减少，MAE值最多减少了52.63%．

  • 2）注意力机制分解模型在冰箱的SAE指标上表现较好，本文所提模型在其他电器上的SAE指标均有不同程度的改善，其值最多减少了78.97%．

  • 3）本文所提算法的所有电器的RMAE、NRMAE的值都优于对比模型，其中RMAE值的减少范围为3.09%~69.28%，MRMAE值的减少范围为2.91%~44.36%．

  • 表4 UKDALE中所选用电器的各个负荷分解指标对比

  • Table4 Comparison of load decomposition indexes of the selected domestic appliances in UKDALE

  • 为充分验证本文算法的创新性和有效性，选用另一个公开数据集REDD进行实验．表5为4个分解模型在REDD数据集上分解性能的比较，其中:

  • 1）CNN分解模型在洗碗机和冰箱的SAE指标上表现较好，本文所提模型在其他两种电器上的SAE指标要优于对比模型，其值减少范围为2.91%~63.87%．

  • 2）LSTM分解模型在冰箱的MAE指标上表现较好，注意力机制分解模型在洗衣机的MAE指标上表现较好，但本文所提模型在洗碗机和洗衣机的MAE指标数值都有所减少，其中洗碗机最多减少了23.39%，微波炉最多减少了21.4%．

  • 3）对于所有电器的RMAE、NRMSE指标，本文所提模型所得到的数据明显优于对比模型．

  • 总体来说，本文所提算法在处理具有不同运行特征的用电设备时，能有效降低分解误差，使用不同数据集进行实验使得本文所提算法的有效性和创新性得到充分验证．

  • 本文利用柱状图展示UKDALE中所选用电器的各个负荷分解指标对比，如图10所示．从图10可以看出，与其他3种分解算法相比，虽然冰箱的SAE指标在普通注意力机制分解模型中取得了较好的结果、微波炉的MAE指标在CNN分解模型中取得了较好的结果，但总体而言，本文所提算法在各项指标上均有所改善．与基于普通注意力机制的分解模型相比，本文所提出的负荷分解模型都能够有效降低4个分解指标的数值，这表明基于多注意力机制的负荷分解模型具有良好的分解能力．

  • 3 结论

  • 本文提出一种基于多注意力机制集成的非侵入式负荷分解模型，并采用公开数据集UKDALE和REDD验证算法的有效性．首先采用空洞卷积层对低频有功功率数据进行初步特征提取，扩大网络对负荷特征的提取范围，丰富负荷特征; 其次，使用概率注意力机制实现重要负荷特征的权重赋值; 最后，在LSTM层后引入时间模式注意力机制，进一步增强模型对负荷特征中时间依赖性的学习能力; 同时在模型中引入残差连接，将浅层特征和深层特征相结合，丰富负荷特征，并引入批归一化加速模型训练．相较于其他模型，本文所提模型在所选电器的评价指标上都表现良好，这表明多注意力机制的引入使得分解模型具有更好的分解性能．本文所提模型的分解性能虽然具备一定优势，但目前工作只选取了2种数据集中常见的4种电器进行分解实现，后续将探究本文模型在其他数据集、其他用电设备上的分解性能．同时在未来的工作中，将以减少训练时间、提高模型泛化能力为目标，对模型进一步改进与优化．

  • 表5 REDD中所选用电器的各个负荷分解指标对比

  • Table5 Comparison of load decomposition indexes of the selected domestic appliances in REDD

  • 图10 UKDALE中各用电设备的评价指标对比

  • Fig.10 Comparison of evaluation indexes of domestic appliances in UKDALE

  • 参考文献

    • [1] 余贻鑫,刘博,栾文鹏.非侵入式居民电力负荷监测与分解技术[J].南方电网技术,2013,7(4):1-5 YU Yixin,LIU Bo,LUAN Wenpeng.Nonintrusive residential load monitoring and decomposition technology[J].Southern Power System Technology,2013,7(4):1-5

    • [2] Nalmpantis C,Vrakas D.Machine learning approaches for non-intrusive load monitoring:from qualitative to quantitative comparation[J].Artificial Intelligence Review,2019,52(1):217-243

    • [3] 邓晓平,张桂青,魏庆来,等.非侵入式负荷监测综述[J].自动化学报,2022,48(3):644-663 DENG Xiaoping,ZHANG Guiqing,WEI Qinglai,et al.A survey on the non-intrusive load monitoring[J].Acta Automatica Sinica,2022,48(3):644-663

    • [4] Gopinath R,Kumar M,Joshua C,et al.Energy management using non-intrusive load monitoring techniques state-of-the-art and future research directions[J].Sustainable Cities and Society,2018,52(2):1-7

    • [5] 张晓东.基于深度学习算法的非侵入式负荷分解研究[D].南京:南京信息工程大学,2021 ZHANG Xiaodong.Research on non-intrusive load decomposition based on deep learning algorithm[D].Nanjing:Nanjing University of Information Science & Technology,2021

    • [6] 代业明,高红伟,高岩,等.具有电力需求预测更新的智能电网实时定价机制[J].电力系统自动化,2018,42(12):58-63 DAI Yeming,GAO Hongwei,GAO Yan,et al.Advances and perspectives on applications of deep learning in visual object detection[J].Acta Automatica Sinica,2018,42(12):58-63

    • [7] Donato P G,Hernández Á,Funes M A,et al.Review of NILM applications in smart grids:power quality assessment and assisted independent living[C]//2020 Argentine Conference on Automatic Control(AADECA).October 28-30,2020,Buenos Aires,Argentina.IEEE,2020:1-6

    • [8] Armel K C,Gupta A,Shrimali G,et al.Is disaggregation the holy grail of energy efficiency?The case of electricity[J].Energy Policy,2013,52:213-234

    • [9] 程祥,李林芝,吴浩,等.非侵入式负荷监测与分解研究综述[J].电网技术,2016,40(10):3108-3117 CHENG Xiang,LI Linzhi,WU Hao,et al.A survey of the research on non-intrusive load monitoring and disaggregation[J].Power System Technology,2016,40(10):3108-3117

    • [10] Liang J,Ng S K K,Kendall G,et al.Load signature study.part I:basic concept,structure,and methodology[J].IEEE Transactions on Power Delivery,2010,25(2):551-560

    • [11] Hart G W.Nonintrusive appliance load monitoring[J].Proceedings of the IEEE,1992,80(12):1870-1891

    • [12] Hart G W,Kern E C,Schweppe F C.Non-intrusive appliance monitor apparatus:US4858141[P].1989-08-15

    • [13] 孙毅,崔灿,陆俊,等.基于遗传优化的非侵入式家居负荷分解方法[J].电网技术,2016,40(12):3912-3917 SUN Yi,CUI Can,LU Jun,et al.A non-intrusive household load monitoring method based on genetic optimization[J].Power System Technology,2016,40(12):3912-3917

    • [14] Ding G F,Wu C H,Wang Y,et al.A novel non-intrusive load monitoring method based on quantum particle swarm optimization algorithm[C]//2019 11th International Conference on Measuring Technology and Mechatronics Automation(ICMTMA).April28-29,2019,Qiqihar,China.IEEE,2019:230-234

    • [15] 吴香华,华亚婕,官元红,等.基于CNN-Attention-BP的降水发生预测研究[J].南京信息工程大学学报(自然科学版),2022,14(2):148-155 WU Xianghua,HUA Yajie,GUAN Yuanhong,et al.Application of CNN-Attention-BP to precipitation forecast[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2022,14(2):148-155

    • [16] 郭佳丽,邢双云,栾昊,等.基于改进的LSTM算法的时间序列流量预测[J].南京信息工程大学学报(自然科学版),2021,13(5):571-575 GUO Jiali,XING Shuangyun,LUAN Hao,et al.Prediction of time series traffic based on improved LSTM algorithm[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(5):571-575

    • [17] Kelly J,Knottenbelt W.Neural NILM:deep neural networks applied to energy disaggregation[C]//Proceedings of the2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments.November 4-5,Seoul,South Korea.New York,NY,USA:ACM,2015.DOI:10.1145/2821650.2821672

    • [18] Krystalakos O,Nalmpantis C,Vrakas D.Sliding window approach for online energy disaggregation using artificial neural networks[C]//Proceedings of the10th Hellenic Conference on Artificial Intelligence,2018:1-6

    • [19] García-Pérez D,Pérez-López D,Díaz-Blanco I,et al.Fully-convolutional denoising auto-encoders for NILM in large non-residential buildings[J].IEEE Transactions on Smart Grid,2021,12(3):2722-2731

    • [20] 蒙亮,于超,张希翔,等.基于一维卷积神经网络和自注意力机制的非侵入式负荷分解[J].电力大数据,2020,23(10):1-8 MENG Liang,YU Chao,ZHANG Xixiang,et al.Non-intrusive load disaggregation based on 1D convolutional neural network and self-attention mechanism[J].Power Systems and Big Data,2020,23(10):1-8

    • [21] 余登武,刘敏,汪元芹.基于GRNN与注意力机制模型的非侵入式家用负荷分解[J].智慧电力,2021,49(3):74-79 YU Dengwu,LIU Min,WANG Yuanqin.Non-invasive household load decomposition based on GRNN and attention mechanism model[J].Smart Power,2021,49(3):74-79

    • [22] Yang M Z,Li X C,Liu Y.Sequence to point learning based on an attention neural network for nonintrusive load decomposition[J].Electronics,2021,10(14):1657

    • [23] Zhou H Y,Zhang S H,Peng J Q,et al.Informer:beyond efficient transformer for long sequence time-series forecasting[J].arXiv e-print,2020,arXiv:2012.07436

    • [24] Zhu R J,Liao W L,Wang Y S.Short-term prediction for wind power based on temporal convolutional network[J].Energy Reports,2020,6:424-429

    • [25] 李梅,宁德军,郭佳程.基于注意力机制的CNN-LSTM模型及其应用[J].计算机工程与应用,2019,55(13):20-27 LI Mei,NING Dejun,GUO Jiacheng.Attention mechanism-based CNN-LSTM model and its application[J].Computer Engineering and Applications,2019,55(13):20-27

    • [26] Shih S Y,Sun F K,Lee H Y.Temporal pattern attention for multivariate time series forecasting[J].Machine Learning,2019,108(8/9):1421-1441

    • [27] 赵敬娇,赵志宏,杨绍普.基于残差连接和1D-CNN的滚动轴承故障诊断研究[J].振动与冲击,2021,40(10):1-6 ZHAO Jingjiao,ZHAO Zhihong,YANG Shaopu.Rolling bearing fault diagnosis based on residual connection and 1D-CNN[J].Journal of Vibration and Shock,2021,40(10):1-6

    • [28] 刘建伟,赵会丹,罗雄麟,等.深度学习批归一化及其相关算法研究进展[J].自动化学报,2020,46(6):1090-1120 LIU Jianwei,ZHAO Huidan,LUO Xionglin,et al.Research progress on batch normalization of deep learning and its related algorithms[J].Acta Automatica Sinica,2020,46(6):1090-1120

    • [29] 李晓,卢先领.基于双重注意力机制和GRU网络的短期负荷预测模型[J].计算机工程,2022,48(2):291-296,305 LI Xiao,LU Xianling.Method for forecasting short-term power load based on dual-stage attention mechanism and gated recurrent unit network[J].Computer Engineering,2022,48(2):291-296,305

    • [30] 刘建伟,刘俊文,罗雄麟.深度学习中注意力机制研究进展[J].工程科学学报,2021,43(11):1499-1511 LIU Jianwei,LIU Junwen,LUO Xionglin.Research progress in attention mechanism in deep learning[J].Chinese Journal of Engineering,2021,43(11):1499-1511

    • [31] Niu Z Y,Zhong G Q,Yu H.A review on the attention mechanism of deep learning[J].Neurocomputing,2021,452:48-62

    • [32] Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[J].arXiv e-print,2017,arXiv:1706.03762

    • [33] Yu F,Koltun V,Funkhouser T.Dilated residual networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:636-644

    • [34] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778

    • [35] Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the32nd International Conference on Machine Learning,2015,37:448-456

    • [36] Zhang C Y,Zhong M J,Wang Z Z,et al.Sequence-to-point learning with neural networks for non-intrusive load monitoring[C]//Proceedings of the32nd AAAI Conference on Artificial Intelligence,2018:2604-2611

    • [37] Tongta A,Chooruang K.Long short-term memory(LSTM)neural networks applied to energy disaggregation[C]//2020 8th International Electrical Engineering Congress(iEECON).March 4-6,2020,Chiang Mai,Thailand.IEEE,2020:1-4

    • [38] Wang K,Zhong H W,Yu N O.Nonintrusive load monitoring based on sequence-to-sequence model with attention mechanism[J].Proceeding of the CSEE,2019,39(1):75-83

    • [39] Babaei T,Abdi H,Lim C P,et al.A study and a directory of energy consumption data sets of buildings[J].Energy and Buildings,2015,94:91-99

    • [40] Kelly J,Knottenbelt W.The UK-DALE dataset,domestic appliance-level electricity demand and whole-house demand from five UK homes[J].Scientific Data,2015,2:150007

    • [41] Kolter J Z,Johnson M J.REDD:a public data set for energy disaggregation research[C]//Workshop on Data Mining Applications in Sustainability(SIGKDD),2011,25:59-62

    • [42] 刘仲民,侯坤福,高敬更,等.基于时间卷积神经网络的非侵入式居民用电负荷分解方法[J].电力建设,2021,42(3):97-106 LIU Zhongmin,HOU Kunfu,GAO Jinggeng,et al.Non-intrusive residential electricity load disaggregation based on temporal convolutional neural network[J].Electric Power Construction,2021,42(3):97-106

    • [43] Kaselimi M,Doulamis N,Voulodimos A,et al.Context aware energy disaggregation using adaptive bidirectional LSTM models[J].IEEE Transactions on Smart Grid,2020,11(4):3054-3067

  • 基本信息

    中图分类号: TP18
    文献标识码: A
    DOI: 10.13878/j.cnki.jnuist.20220516001

    基金信息

    国家自然科学青年基金(61803136)；

    引用信息

    稿件历史

    收稿日期: 2022-05-16

  • 参考文献

    • [1] 余贻鑫,刘博,栾文鹏.非侵入式居民电力负荷监测与分解技术[J].南方电网技术,2013,7(4):1-5 YU Yixin,LIU Bo,LUAN Wenpeng.Nonintrusive residential load monitoring and decomposition technology[J].Southern Power System Technology,2013,7(4):1-5

    • [2] Nalmpantis C,Vrakas D.Machine learning approaches for non-intrusive load monitoring:from qualitative to quantitative comparation[J].Artificial Intelligence Review,2019,52(1):217-243

    • [3] 邓晓平,张桂青,魏庆来,等.非侵入式负荷监测综述[J].自动化学报,2022,48(3):644-663 DENG Xiaoping,ZHANG Guiqing,WEI Qinglai,et al.A survey on the non-intrusive load monitoring[J].Acta Automatica Sinica,2022,48(3):644-663

    • [4] Gopinath R,Kumar M,Joshua C,et al.Energy management using non-intrusive load monitoring techniques state-of-the-art and future research directions[J].Sustainable Cities and Society,2018,52(2):1-7

    • [5] 张晓东.基于深度学习算法的非侵入式负荷分解研究[D].南京:南京信息工程大学,2021 ZHANG Xiaodong.Research on non-intrusive load decomposition based on deep learning algorithm[D].Nanjing:Nanjing University of Information Science & Technology,2021

    • [6] 代业明,高红伟,高岩,等.具有电力需求预测更新的智能电网实时定价机制[J].电力系统自动化,2018,42(12):58-63 DAI Yeming,GAO Hongwei,GAO Yan,et al.Advances and perspectives on applications of deep learning in visual object detection[J].Acta Automatica Sinica,2018,42(12):58-63

    • [7] Donato P G,Hernández Á,Funes M A,et al.Review of NILM applications in smart grids:power quality assessment and assisted independent living[C]//2020 Argentine Conference on Automatic Control(AADECA).October 28-30,2020,Buenos Aires,Argentina.IEEE,2020:1-6

    • [8] Armel K C,Gupta A,Shrimali G,et al.Is disaggregation the holy grail of energy efficiency?The case of electricity[J].Energy Policy,2013,52:213-234

    • [9] 程祥,李林芝,吴浩,等.非侵入式负荷监测与分解研究综述[J].电网技术,2016,40(10):3108-3117 CHENG Xiang,LI Linzhi,WU Hao,et al.A survey of the research on non-intrusive load monitoring and disaggregation[J].Power System Technology,2016,40(10):3108-3117

    • [10] Liang J,Ng S K K,Kendall G,et al.Load signature study.part I:basic concept,structure,and methodology[J].IEEE Transactions on Power Delivery,2010,25(2):551-560

    • [11] Hart G W.Nonintrusive appliance load monitoring[J].Proceedings of the IEEE,1992,80(12):1870-1891

    • [12] Hart G W,Kern E C,Schweppe F C.Non-intrusive appliance monitor apparatus:US4858141[P].1989-08-15

    • [13] 孙毅,崔灿,陆俊,等.基于遗传优化的非侵入式家居负荷分解方法[J].电网技术,2016,40(12):3912-3917 SUN Yi,CUI Can,LU Jun,et al.A non-intrusive household load monitoring method based on genetic optimization[J].Power System Technology,2016,40(12):3912-3917

    • [14] Ding G F,Wu C H,Wang Y,et al.A novel non-intrusive load monitoring method based on quantum particle swarm optimization algorithm[C]//2019 11th International Conference on Measuring Technology and Mechatronics Automation(ICMTMA).April28-29,2019,Qiqihar,China.IEEE,2019:230-234

    • [15] 吴香华,华亚婕,官元红,等.基于CNN-Attention-BP的降水发生预测研究[J].南京信息工程大学学报(自然科学版),2022,14(2):148-155 WU Xianghua,HUA Yajie,GUAN Yuanhong,et al.Application of CNN-Attention-BP to precipitation forecast[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2022,14(2):148-155

    • [16] 郭佳丽,邢双云,栾昊,等.基于改进的LSTM算法的时间序列流量预测[J].南京信息工程大学学报(自然科学版),2021,13(5):571-575 GUO Jiali,XING Shuangyun,LUAN Hao,et al.Prediction of time series traffic based on improved LSTM algorithm[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(5):571-575

    • [17] Kelly J,Knottenbelt W.Neural NILM:deep neural networks applied to energy disaggregation[C]//Proceedings of the2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments.November 4-5,Seoul,South Korea.New York,NY,USA:ACM,2015.DOI:10.1145/2821650.2821672

    • [18] Krystalakos O,Nalmpantis C,Vrakas D.Sliding window approach for online energy disaggregation using artificial neural networks[C]//Proceedings of the10th Hellenic Conference on Artificial Intelligence,2018:1-6

    • [19] García-Pérez D,Pérez-López D,Díaz-Blanco I,et al.Fully-convolutional denoising auto-encoders for NILM in large non-residential buildings[J].IEEE Transactions on Smart Grid,2021,12(3):2722-2731

    • [20] 蒙亮,于超,张希翔,等.基于一维卷积神经网络和自注意力机制的非侵入式负荷分解[J].电力大数据,2020,23(10):1-8 MENG Liang,YU Chao,ZHANG Xixiang,et al.Non-intrusive load disaggregation based on 1D convolutional neural network and self-attention mechanism[J].Power Systems and Big Data,2020,23(10):1-8

    • [21] 余登武,刘敏,汪元芹.基于GRNN与注意力机制模型的非侵入式家用负荷分解[J].智慧电力,2021,49(3):74-79 YU Dengwu,LIU Min,WANG Yuanqin.Non-invasive household load decomposition based on GRNN and attention mechanism model[J].Smart Power,2021,49(3):74-79

    • [22] Yang M Z,Li X C,Liu Y.Sequence to point learning based on an attention neural network for nonintrusive load decomposition[J].Electronics,2021,10(14):1657

    • [23] Zhou H Y,Zhang S H,Peng J Q,et al.Informer:beyond efficient transformer for long sequence time-series forecasting[J].arXiv e-print,2020,arXiv:2012.07436

    • [24] Zhu R J,Liao W L,Wang Y S.Short-term prediction for wind power based on temporal convolutional network[J].Energy Reports,2020,6:424-429

    • [25] 李梅,宁德军,郭佳程.基于注意力机制的CNN-LSTM模型及其应用[J].计算机工程与应用,2019,55(13):20-27 LI Mei,NING Dejun,GUO Jiacheng.Attention mechanism-based CNN-LSTM model and its application[J].Computer Engineering and Applications,2019,55(13):20-27

    • [26] Shih S Y,Sun F K,Lee H Y.Temporal pattern attention for multivariate time series forecasting[J].Machine Learning,2019,108(8/9):1421-1441

    • [27] 赵敬娇,赵志宏,杨绍普.基于残差连接和1D-CNN的滚动轴承故障诊断研究[J].振动与冲击,2021,40(10):1-6 ZHAO Jingjiao,ZHAO Zhihong,YANG Shaopu.Rolling bearing fault diagnosis based on residual connection and 1D-CNN[J].Journal of Vibration and Shock,2021,40(10):1-6

    • [28] 刘建伟,赵会丹,罗雄麟,等.深度学习批归一化及其相关算法研究进展[J].自动化学报,2020,46(6):1090-1120 LIU Jianwei,ZHAO Huidan,LUO Xionglin,et al.Research progress on batch normalization of deep learning and its related algorithms[J].Acta Automatica Sinica,2020,46(6):1090-1120

    • [29] 李晓,卢先领.基于双重注意力机制和GRU网络的短期负荷预测模型[J].计算机工程,2022,48(2):291-296,305 LI Xiao,LU Xianling.Method for forecasting short-term power load based on dual-stage attention mechanism and gated recurrent unit network[J].Computer Engineering,2022,48(2):291-296,305

    • [30] 刘建伟,刘俊文,罗雄麟.深度学习中注意力机制研究进展[J].工程科学学报,2021,43(11):1499-1511 LIU Jianwei,LIU Junwen,LUO Xionglin.Research progress in attention mechanism in deep learning[J].Chinese Journal of Engineering,2021,43(11):1499-1511

    • [31] Niu Z Y,Zhong G Q,Yu H.A review on the attention mechanism of deep learning[J].Neurocomputing,2021,452:48-62

    • [32] Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[J].arXiv e-print,2017,arXiv:1706.03762

    • [33] Yu F,Koltun V,Funkhouser T.Dilated residual networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:636-644

    • [34] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778

    • [35] Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the32nd International Conference on Machine Learning,2015,37:448-456

    • [36] Zhang C Y,Zhong M J,Wang Z Z,et al.Sequence-to-point learning with neural networks for non-intrusive load monitoring[C]//Proceedings of the32nd AAAI Conference on Artificial Intelligence,2018:2604-2611

    • [37] Tongta A,Chooruang K.Long short-term memory(LSTM)neural networks applied to energy disaggregation[C]//2020 8th International Electrical Engineering Congress(iEECON).March 4-6,2020,Chiang Mai,Thailand.IEEE,2020:1-4

    • [38] Wang K,Zhong H W,Yu N O.Nonintrusive load monitoring based on sequence-to-sequence model with attention mechanism[J].Proceeding of the CSEE,2019,39(1):75-83

    • [39] Babaei T,Abdi H,Lim C P,et al.A study and a directory of energy consumption data sets of buildings[J].Energy and Buildings,2015,94:91-99

    • [40] Kelly J,Knottenbelt W.The UK-DALE dataset,domestic appliance-level electricity demand and whole-house demand from five UK homes[J].Scientific Data,2015,2:150007

    • [41] Kolter J Z,Johnson M J.REDD:a public data set for energy disaggregation research[C]//Workshop on Data Mining Applications in Sustainability(SIGKDD),2011,25:59-62

    • [42] 刘仲民,侯坤福,高敬更,等.基于时间卷积神经网络的非侵入式居民用电负荷分解方法[J].电力建设,2021,42(3):97-106 LIU Zhongmin,HOU Kunfu,GAO Jinggeng,et al.Non-intrusive residential electricity load disaggregation based on temporal convolutional neural network[J].Electric Power Construction,2021,42(3):97-106

    • [43] Kaselimi M,Doulamis N,Voulodimos A,et al.Context aware energy disaggregation using adaptive bidirectional LSTM models[J].IEEE Transactions on Smart Grid,2020,11(4):3054-3067

    • 地址：江苏省南京市宁六路219号    邮编：210044

    联系电话：025-58731025    E-mail：nxdxb@nuist.edu.cn

    南京信息工程大学学报 ® 2024 版权所有  技术支持：北京勤云科技发展有限公司