基于改进Q-learning算法的输电线路拟声驱鸟策略研究

柯杰龙，张羽，朱朋辉，黄炽坤，吴可廷; KE Jielong; ZHANG Yu; ZHU Penghui; HUANG Chikun; WU Keting

引 en

基于改进Q-learning算法的输电线路拟声驱鸟策略研究

柯杰龙¹
机构：
1. 广东工业大学自动化学院,广州, 510006
×
，张羽²
机构：
2. 广东电网有限责任公司江门供电局,江门, 529000
×
，朱朋辉²
机构：
2. 广东电网有限责任公司江门供电局,江门, 529000
×
，黄炽坤¹
机构：
1. 广东工业大学自动化学院,广州, 510006
×
，吴可廷¹
机构：
1. 广东工业大学自动化学院,广州, 510006
×

1. 广东工业大学自动化学院,广州, 510006；
2. 广东电网有限责任公司江门供电局,江门, 529000；

Audio bird repelling strategy for transmission line based on improved Q-learning algorithm

KE Jielong¹
Affiliation：
1. School of Automation,Guangdong University of Technology,Guangzhou 510006
×
，ZHANG Yu²
Affiliation：
2. Jiangmen Power Supply Bureau of Guangdong Power Grid Company Limited,Jiangmen 529000
×
，ZHU Penghui²
Affiliation：
2. Jiangmen Power Supply Bureau of Guangdong Power Grid Company Limited,Jiangmen 529000
×
，HUANG Chikun¹
Affiliation：
1. School of Automation,Guangdong University of Technology,Guangzhou 510006
×
，WU Keting¹
Affiliation：
1. School of Automation,Guangdong University of Technology,Guangzhou 510006
×

1. School of Automation,Guangdong University of Technology,Guangzhou 510006；
2. Jiangmen Power Supply Bureau of Guangdong Power Grid Company Limited,Jiangmen 529000；

作者简介:

柯杰龙,男,硕士生,研究方向为电网鸟害防治、机器学习算法.k13632411459@163.com

中图分类号:TM752

文献标识码:A

DOI:10.13878/j.cnki.jnuist.2022.05.009

全文
评论
参考文献
出版信息

参考文献 1

Shi X,Tang H,Wang X,et al.The discussion on bird hazard prevention and control measures on the transmission lines[C]//Proceedings of 2018 6th International Conference on Machinery,Materials and Computing Technology,2018

查找原文

参考文献 2

Zhang H,Che R F,Du W,et al.Research on the protection range of bird droppings of 110 kV transmission line based on ANSYS maxwell[J].Journal of Physics:Conference Series,2019,1187(2):022052

查找原文

参考文献 3

李帆,李阳林,张宇,等.架空输电线路涉鸟故障分析与防范[J].中国电力,2019,52(10):92-99;LI Fan,LI Yanglin,ZHANG Yu,et al.Analysis and prevention of bird fault overhead transmission line[J].Electric Power,2019,52(10):92-99

查找原文

参考文献 4

程雷,王晓斌,徐彦昭,等.太原武宿国际机场鸟类多样性特征及鸟击防控[J].生态学杂志,2020,39(6):2014-2023;CHENG Lei,WANG Xiaobin,XU Yanzhao,et al.Characteristics of avian diversity and birdstrike prevention and control at Taiyuan Wusu International Airport[J].Chinese Journal of Ecology,2020,39(6):2014-2023

查找原文

参考文献 5

胡坚,郭浩,章志鸿.输电线路鸟害综合防治技术研究[J].河北水利电力学院学报,2020,30(3):42-47;HU Jian,GUO Hao,ZHANG Zhihong.Research on comprehensive prevention technology of bird damage on transmission line[J].Journal of Hebei University of Water Resources and Electric Engineering,2020,30(3):42-47

查找原文

参考文献 6

李凯,刘希和,余诗俊,等.利用绝缘子电容电压放电的输电线路驱鸟板[J].中国电力,2016,49(4):55-60;LI Kai,LIU Xihe,YU Shijun,et al.Design of transmission line anti-bird board by applying the discharge of capacitor voltage of insulators[J].Electric Power,2016,49(4):55-60

查找原文

参考文献 7

何义良.基于主动检测技术的输电线路防鸟装置研究[D].北京:华北电力大学,2017;HE Yiliang.Research on anti bird device of transmission line based on active detection technology[D].Beijing:North China Electric Power University,2017

查找原文

参考文献 8

袁佳炜,石复习.新型声光组合农田驱鸟装置设计[J].农业工程,2019,9(6):101-105;YUAN Jiawei,SHI Fuxi.Design of new type of acousto-optic combination farmland bird-repelling device[J].Agricultural Engineering,2019,9(6):101-105

查找原文

参考文献 9

周自强,刘春翔,范鹏.基于主动探测技术的输电线路驱鸟策略研究[J].水电能源科学,2019,37(9):179-182;ZHOU Ziqiang,LIU Chunxiang,FAN Peng.Research on anti-bird strategy for transmission line based on active detection technology[J].Water Resources and Power,2019,37(9):179-182

查找原文

参考文献 10

陈晓东,孙福军,刘洋,等.高压输电线路驱鸟试验研究[J].黑龙江电力,2011,33(1):53-57;CHEN Xiaodong,SUN Fujun,LIU Yang,et al.Study on bird repelling test for high-voltage transmission line[J].Heilongjiang Electric Power,2011,33(1):53-57

查找原文

参考文献 11

谢将剑,李星光,杨俊,等.音频驱鸟设备对野生喜鹊最佳驱除模式研究[J].四川动物,2020,39(6):630-638;XIE Jiangjian,LI Xingguang,YANG Jun,et al.The optimal bird-repellent model of audio-bird-repellent for wild pica pica[J].Sichuan Journal of Zoology,2020,39(6):630-638

查找原文

参考文献 12

金麟雨,李舒萌,赵小英,等.煤气炮和声波驱鸟器有效距离的评估[J].应用生态学报,2021,32(1):326-332;JIN Linyu,LI Shumeng,ZHAO Xiaoying,et al.Comparative evaluation of efficient bird repeller distance between gas gun and sound bird repeller[J].Chinese Journal of Applied Ecology,2021,32(1):326-332

查找原文

参考文献 13

张淑萍,陈聪,王培哲,等.野生鸟类应激反应的生理机制及其生态意义[J].生态学杂志,2010,29(11):2280-2285;ZHANG Shuping,CHEN Cong,WANG Peizhe,et al.Physiological mechanism and ecological implications of wild bird stress response[J].Chinese Journal of Ecology,2010,29(11):2280-2285

查找原文

参考文献 14

杜枫林,张淑萍,丁长青.鸟类应激反应的诱发和影响因素[J].动物学杂志,2020,55(4):518-531;DU Fenglin,ZHANG Shuping,DING Changqing.Inducement and influencing factors of avian stress response[J].Chinese Journal of Zoology,2020,55(4):518-531

查找原文

参考文献 15

Boussakssou M,Hssina B,Erittali M.Towards an adaptive E-learning system based on Q-learning algorithm[J].Procedia Computer Science,2020,170:1198-1203

查找原文

参考文献 16

Wang Y,Liu Y T,Chen W,et al.Target transfer Q-learning and its convergence analysis[J].Neurocomputing,2020,392:11-22

查找原文

参考文献 17

Jiang L,Huang H Y,Ding Z H.Path planning for intelligent robots based on deep Q-learning with experience replay and heuristic knowledge[J].IEEE/CAA Journal of Automatica Sinica,2020,7(4):1179-1189

查找原文

参考文献 18

Roh B S,Han M H,Ham J H,et al.Q-LBR:Q-learning based load balancing routing for UAV-assisted VANET[J].Sensors(Basel,Switzerland),2020,20(19):5685

查找原文

参考文献 19

Maoudj A,Hentout A.Optimal path planning approach based on Q-learning algorithm for mobile robots[J].Applied Soft Computing,2020,97:106796

查找原文

参考文献 20

Chakole J B,Kolhe M S,Mahapurush G D,et al.A Q-learning agent for automated trading in equity stock markets[J].Expert Systems with Applications,2021,163:113761

查找原文

参考文献 21

阮晓钢,刘鹏飞,朱晓庆.基于气味奖励引导的Q-learning环境认知方法[J].清华大学学报(自然科学版),2021,61(3):254-260;RUAN Xiaogang,LIU Pengfei,ZHU Xiaoqing.Q-learning environment recognition method based on odor-reward shaping[J].Journal of Tsinghua University(Science and Technology),2021,61(3):254-260

查找原文

参考文献 22

毛国君,顾世民.改进的Q-Learning算法及其在路径规划中的应用[J].太原理工大学学报,2021,52(1):91-97;MAO Guojun,GU Shimin.An improved Q-learning algorithm and its application in path planning[J].Journal of Taiyuan University of Technology,2021,52(1):91-97

查找原文

参考文献 23

王鼎新.基于改进Q-learning算法的AGV路径规划[J].电子设计工程,2021,29(4):7-10,15;WANG Dingxin.AGV path planning based on improved Q-learning algorithm[J].Electronic Design Engineering,2021,29(4):7-10,15

查找原文

目录contents

摘要 Abstract
关键词 Keywords
0 引言
1 研究方法
1.1 驱鸟实验设计
1.2 实验方法
1.2.1 基于模糊理论的鸟类反应类型定义
1.2.2 音频权重值计算
1.3 基于Q-learning算法的拟声驱鸟策略研究
1.3.1 Q-learning算法
1.3.2 基于Q-learning算法和音频权重值的拟声驱鸟策略研究
1.3.3 Sarsa算法
2 结果与分析
2.1 鸟类反应类型定义
2.2 单一音频鸟类驱离实验
2.3 驱鸟策略对比实验
2.3.1 实验数据分析
2.3.2 策略对比
3 结论
参考文献

摘要

日益频繁的鸟类活动给输电线路的安全运行带来了极大威胁,而现有拟声驱鸟装置由于缺乏智能性,无法长期有效驱鸟.为了解决上述问题,本文提出基于改进Q-learning算法的拟声驱鸟策略.首先,为了评价各音频的驱鸟效果,结合模糊理论,将鸟类听到音频后的动作行为量化为不同鸟类反应类型.然后,设计单一音频驱鸟实验,统计各音频驱鸟效果数据,得到各音频的初始权重值,为拟声驱鸟装置的音频选择提供实验依据.为了使计算所得的音频权重值更符合实际实验情况,对CRITIC (Criteria Importance Though Intercrieria Correlation) 方法的权重计算公式进行了优化.最后,使用实验所得音频权重值对Q-learning算法进行改进,并设计与其他拟声驱鸟策略的对比实验,实验数据显示改进Q-learning算法的拟声驱鸟策略驱鸟效果优于其他三种驱鸟策略,收敛速度快,驱鸟效果稳定,能够降低鸟类的适应性.

Abstract

Increasingly frequent bird activities have brought serious threat on the safe operation of transmission lines,and the existing audio bird-repelling device cannot perennially effectively drive birds due to the lack of intellectuality.In order to solve the above problems,this paper presents an audio bird-repelling strategy based on improved Q-learning algorithm.First of all,in order to evaluate the effect of each audio,the behavior of birds after hearing the audio is quantified into different bird response types by combining with the fuzzy theory.Then,an audio bird-repelling experiment is designed,the data of each audio bird-repelling effect is counted,and the initial weight of each audio is obtained,which provides experimental basis for the audio selection of audio bird-repelling device.In order to make the audio weight more consistent with the actual experimental situation,the weight calculation formula of CRITIC (Criteria Importance Though Intercrieria Correlation) is optimized.Finally,the Q-learning algorithm is improved via the audio weights obtained from the above experiment,and a contrast experiment with other audio bird-repelling strategies is designed.Experimental results show that the improved Q-learning algorithm outperforms other audio bird-repelling strategies,characterized by fast convergence,stable bird-repelling performance,and reducing the adaptability of birds.

关键词

拟声音频；驱鸟效果；模糊理论； Q-learning算法；驱鸟策略

Keywords

audio ； the effect of anti-bird ； fuzzy theory ； Q-learning algorithm ； bird-repellent strategy

0 引言
随着生态环境的改善与人们对野生动物保护意识的增强,鸟类数量在逐年增加,活动范围也在不断扩大.鸟类活动引起的架空输电线路故障频次也呈现明显上升趋势,给输电线路的安全运行带来了极大威胁^[1-5].
为了降低鸟类活动对输电线路造成的危害,许多学者对驱鸟策略进行了研究.比如:李凯等^[6] 设计利用绝缘子电容电压放电的驱鸟板,当鸟类在驱鸟板上停歇时,驱鸟板自动通电使鸟类遭受电击飞离;何义良^[7] 设计基于红外检测技术的组合(固定频率闪光、固定频率超声波和多种音频)驱鸟装置,当检测到鸟类靠近时,装置选择一种驱赶方式进行驱鸟;袁佳炜等^[8] 设计声光组合驱鸟装置,其激光模块通过添加托管结构增大了照射面积,且能以一定频率闪烁进行驱鸟,而语音模块存储了6种不同的驱鸟语音,并能随机选择一种语音和随机选择语音播放时长驱鸟;周自强等^[9] 设计基于光电检测的激光驱鸟装置,能够通过定扫模式和巡航模式进行驱鸟.上述文献研究的驱鸟策略具有一定的驱鸟效果,但是所设计的驱鸟装置没有自学习功能,在实际应用中,无法应对鸟类的适应性问题.
为了提高驱鸟装置的驱鸟效率,需要对不同驱鸟方式的驱鸟效果进行定量和更有针对性的研究.陈晓东等^[10] 设计声、光、电等驱鸟实验,通过观察鸟类是否飞离确定有效的驱鸟参数;谢将剑等^[11] 通过观察喜鹊是否飞离,研究了音频种类(喜鹊惨叫声、喜鹊惊叫声和枪声)、声强和距离对驱鸟效果的影响;文献^[10-11]所设计的驱鸟实验以鸟类是否飞离作为驱鸟效果的判断标准,缺乏鸟类在不同驱鸟方式下的更细化的行为描述;金麟雨等^[12] 通过将鸟类行为描述为惊飞、飞离和警戒,研究煤气炮和定向声波的驱鸟效果与有效驱鸟距离.文献^[12]虽然对鸟类行为进行了更细化的描述,但是并未基于实验观察所得数据对驱鸟效果进行定量研究.
本文提出基于改进Q-learning算法的拟声驱鸟策略.首先,设计单一音频驱鸟实验得到不同音频的初始权重值,为了客观描述实验过程中的鸟类反应,结合模糊综合评价法,将鸟类的突发应激反应^[13-14] (即鸟类听到音频后的行为表现)定义为不同的反应类型.其次,优化CRITIC方法的权重计算公式使所得各音频权重值更符合实际实验情况.最后,借鉴强化学习的思想^[15-23],并在使用Q-learning算法时考虑实验所得的各音频权重值,使装置在驱鸟过程中能够自动切换并选择更有效的驱鸟音频进行播放,提高驱鸟效率,降低鸟类的适应性.实验结果表明,装置的拟声驱鸟模块在使用本文提出的改进Q-learning算法后,装置具有自学习功能,且在拟声驱鸟模块第一次启动时就能选择到驱鸟效率较高的音频进行播放.
1 研究方法
为了提高输电线路拟声驱鸟策略的有效性,本文对Q-learning算法进行了改进.首先,设计单一音频驱鸟实验,根据实验情况,利用模糊综合评价法定义鸟类反应类型;然后,收集统计鸟类反应数据,分析不同音频下的驱鸟效果,并计算各音频初始权重;最后,设计与其他拟声驱鸟策略的对比实验,验证本文提出的拟声驱鸟策略的有效性.
1.1 驱鸟实验设计
实验地点选择校园中的湖边小树林,树林中白腰文鸟(Lonchura striata)较多,鸟类活动频繁.实验情况通过视频监控设备实时发送到远端手机或电脑上.实验相关变量定义如下:
t₁:选定实验音频的播放时长(单位:s);
t₂:选定实验音频两次播放的间隔时间(单位:s);
f:选定实验音频的播放次数.
实验设计如下:
1)单一音频驱鸟实验
当鸟类进入装置的保护范围,装置音频驱赶模块开始工作,相关变量取值:t₁=25,t₂=30,f=6.为了避免实验点鸟类适应性对实验结果产生影响,当f ＞6时便更换实验地点.
2)与其他拟声驱鸟策略的对比实验
在装置中设置4种拟声驱鸟模式,分别是随机模式、Sarsa算法模式、Q-learning算法模式和改进Q-learning算法模式.在音频驱赶模块触发后,依次采用4种模式更换驱鸟音频,相关变量取值:t₁=25,t₂=30,f=2.同样地,考虑到鸟类的适应性,当累计播放24次音频后便更换实验地点.
1.2 实验方法
1.2.1 基于模糊理论的鸟类反应类型定义
对于实验中鸟类听到音频后行为表现的集合,采用模糊集合进行定义,具体如下:
1)因素集: $U = \{u_{1}, u_{2}, u_{3}\}$ ,u₁为鸟类远离装置距离(单位:m);u₂为鸟类摇头次数;u₃为鸟类在原地停留时间(单位:s).
2)权重集: $A = \{a_{1}, a_{2}, a_{3}\}$ ,a₁为鸟类远离装置距离权重;a₂为鸟类摇头次数权重;a₃为鸟类在原地停留时间权重.
3)评语集: $V = \{v_{1}, v_{2}, v_{3}\}$ ,v₁为良好;v₂为一般;v₃为较差.
4)根据实验情况设定各因素的边界值,然后根据边界值,各因素选择对应的梯型隶属度函数计算得到每只鸟的行为矩阵R.
5)由权重矩阵T和R得到鸟类的最终行为表现B.

B = T \cdot R

(1)

1.2.2 音频权重值计算
对于实验收集到的数据,本文采用CRITIC方法得到不同音频的权重值.

\{\begin{matrix} W_{j}^{0} = \frac{S_{j} R_{j}}{\sum_{j = 1}^{p} (S_{j} R_{j})}, \\ S_{j} = \sqrt{\frac{\sum_{i = 1}^{n} {(x_{i j} - {\bar{x}}_{j})}^{2}}{n - 1}}, \\ R_{j} = \sum_{i = 1}^{p} (1 - r_{i j}), \end{matrix}

(2)

式中: $W_{j}^{0}$ 为使用CRITIC方法计算得到的原始权重值;S_j为第j个指标的标准差;n为样本数;x_ij为第j个指标下第i个样本;j为第j个指标的样本均值;R_j为第j个指标的相关系数;p为指标个数;r_ij为第j个指标和第i个指标的相关系数.
当鸟类对音频的行为表现差异较大时(即该音频驱赶效果较差),由CRITIC方法得到的权重值较大,这与音频驱赶效果差对应权重值小的需求并不相符,因此本文对CRITIC方法的权重计算公式进行了修改:

w_{1 j} = \{\begin{matrix} \frac{{\bar{v}}_{3} - v_{3}^{j}}{\sum_{j}^{n} ({\bar{v}}_{3} - v_{3}^{j})} \cdot g, v_{3}^{j} < {\bar{v}}_{3}, \\ \frac{v_{3}^{j} - {\bar{v}}_{3}}{\sum_{j}^{n} (v_{3}^{j} - {\bar{v}}_{3})} \cdot g, v_{3}^{j} ⩾ {\bar{v}}_{3}, \end{matrix}

(3)

式中: $v_{3}^{j}$ 为使用某种音频进行驱鸟实验时,第j次实验得到的驱鸟效果较差的统计数据(即听到音频后没什么反应的鸟的只数),n为音频总个数, ${\bar{v}}_{3} = \sum_{j = 1}^{n} v_{3}^{j} / n$ ; $w_{1 j}$ 反映了 $v_{3}^{j}$ 与均值的差异,差异越大, $w_{1 j}$ 越大,反之越小;g为常数,可调节音频权重值之间的差异大小,使数据处理结果更符合实际实验情况.

w_{2 j} = \frac{v_{1}^{j}}{n_{t}} \cdot g,

(4)

式中: $v_{1}^{j}$ 为使用某种音频进行驱鸟实验时,第j次实验得到的驱鸟效果较好的统计数据(即听到音频后有明显反应的鸟的只数);n_t为每个音频的实验总次数; $w_{2 j}$ 为使用某种音频进行驱鸟实验时,有明显反应的鸟的只数占总的鸟类数量的比重.

w_{j} = s i g n ({\bar{v}}_{3} - v_{3}^{j}) \cdot w_{1 j} \cdot w_{2 j} \cdot w_{j}^{0} + k

(5)

式中:sign(·)为符号函数,当 ${\bar{v}}_{3} - v_{3}^{j} > 0$ 时,返回+1,当 ${\bar{v}}_{3} - v_{3}^{j} = 0$ 时,返回0,否则返回-1; $k = ⌈|m i n (- w_{1 j} \cdot w_{2 j} \cdot w_{j}^{0})|⌉$ ,为转正系数,即负值最小值取绝对值再向上取整.
对权重计算公式进行修改后,音频权重值的大小能够准确反映音频的驱鸟效果优劣.
1.3 基于Q-learning算法的拟声驱鸟策略研究
目前市面上绝大部分拟声驱鸟装置不能自动更换驱鸟音频,导致装置在使用一段时间后驱鸟效果变差,无法驱离鸟类.本文结合强化学习的思想,在装置播放驱鸟音频后,通过检测鸟类是否离开装置保护区域并给予奖惩,使装置能够根据驱鸟效果自动更换驱鸟音频,从而能够降低鸟类适应性、提高装置的驱鸟效率.
1.3.1 Q-learning算法
强化学习的核心思想可通过智能体(Agent)的学习过程来体现.一个智能体在采取行动(Action)后,通过与环境(Environment)发生交互并获得奖励(Reward)改变行动从而改变下一状态(State).
Q-learning算法中的主要参数有:状态s,动作a,即时奖励r,衰减因子γ,探索率 $ϵ$ 和Q值(即在某一状态s下,采取动作a能够获得的最大奖励r的期望).由于环境会根据智能体的动作a反馈相应的奖罚r,所以算法的核心就是构建Q表,然后根据Q值确定能够获得最大奖励r的动作a.
1.3.2 基于Q-learning算法和音频权重值的拟声驱鸟策略研究
Q-learning算法的使用使装置能够根据驱鸟效果自动更换驱鸟音频.为了进一步提高装置的驱鸟效率,在更新Q表时考虑单一音频驱鸟实验得到的音频权重值,从而加快算法的收敛速度.
拟声驱鸟装置作为Q-learning算法中的智能体,它使用多普勒雷达检测鸟类,当鸟类进入装置的保护区域,装置驱赶模块触发启动,播放选择的音频x驱鸟,此时装置的状态s为音频x播放中.多普勒雷达检测鸟类是否离开装置保护区域并给予音频x与奖惩r,结合音频权重库里单一音频驱鸟实验得到的各音频权重值更新状态s下动作a的Q值.如果鸟类没有离开装置保护区域,重复执行上述过程;否则更新Q值后结束本次驱赶.基于Q-learning算法和音频权重值的拟声驱鸟流程如图1所示.
图1 基于Q-learning算法和音频权重值的拟声驱鸟流程
Fig.1 Bird-repelling strategy based on Q-learning and audio weight
实验中,装置中存储了10种音频供驱赶模块选用,这样,装置作为一个智能体,有10个状态(音频x播放中)和10个动作(下次驱赶选择音频y播放),Q表为一个10×10的矩阵.
Q表的更新过程具体如下:
1)当多普勒雷达检测到有鸟类进入装置的保护区域,装置驱赶模块触发启动,初始化Q表并随机选择音频x播放,此时装置的状态s为音频x播放中.
2)设置参数 $ϵ$ (0＜ $ϵ$ ＜1),根据 $ϵ$ _greedy策略选择音频播放,即驱赶模块执行最大Q值对应动作的概率为 $ϵ$ ,而随机选择音频播放的概率为1- $ϵ$ .采用 $ϵ$ _greedy策略选择播放音频可以防止Q-learning算法陷入局部最优.
3)根据多普勒雷达的检测结果给予当前播放音频奖惩,即如果检测到鸟类离开装置保护区域,则给予当前播放音频奖励,更新Q表,否则给予当前播放音频惩罚,更新Q表,并选择音频进行下一次驱赶.
4)更新Q表:Q-learning算法采用时序差分方法估计装置播放音频的价值,设当前状态的价值函数为 $V (s_{t})$ ,价值函数的更新公式如下:

V (s_{t}) \leftarrow V (s_{t}) + β [r_{t} + γ V (s_{t + 1}) - V (s_{t})]

(6)

式中:β为学习速率,控制保留之前效果的比例,β越大,对之前训练效果的保留就越少; $r_{t}$ 为当前状态下执行选定动作的奖惩值,驱鸟成功 $r_{t}$ =1,驱鸟失败 $r_{t}$ =-1;r为折扣因子,控制下一状态价值函数的比例; $V (s_{t + 1})$ 为下一状态的价值函数.
在Q-learning算法中,Q表中的Q值即为音频价值函数的取值,更新公式如下:

\begin{matrix} Q (s_{t}, a_{t}) \leftarrow Q (s_{t}, a_{t}) + \\ β [r_{t} + γ \underset{a}{m a x} Q (s_{t + 1}, a) - Q (s_{t}, a_{t})] \end{matrix}

(7)

式中: $Q (s_{t}, a_{t})$ 为当前状态当前动作下的Q值; $\underset{a}{m a x} Q (s_{t + 1}, a)$ 为下一状态下,装置播放音频能获得的最大的Q值.
简化式(7)得:

Q (s_{t}, a_{t}) \leftarrow r_{t} + γ \underset{a}{m a x} Q (s_{t + 1}, a)

(8)

为了提高Q-learning算法的收敛速度,使装置快速找到有效的驱鸟音频,更新Q值时考虑在单一音频驱鸟实验中由CRITIC方法得到的音频权重值,将式(7)改写为

\begin{matrix} Q (s_{t}, a_{t}) \leftarrow Q (s_{t}, a_{t}) + \\ β [r_{t} + w_{t} + γ \underset{a}{m a x} Q (s_{t + 1}, a) - Q (s_{t}, a_{t})] \end{matrix}

(9)

式中:w_t为当前音频权重值.
5)更新音频权重库:当多普勒雷达检测到鸟类离开装置保护区域,则更新音频权重库中对应的音频权重值,具体公式如下:

w_{i} = ({\tilde{w}}_{i} + 0.1)) / (\sum_{i = 1}^{10} {\tilde{w}}_{i} + 0.1)

(10)

式中:w_i为音频i更新后的权重值; ${\tilde{w}}_{i}$ 为音频i更新前的权重值.
6)当多普勒雷达检测到鸟类离开装置保护区域则结束本次驱赶,否则重复步骤3)—6).
1.3.3 Sarsa算法
与Q-learning算法一样,Sarsa算法也属于强化学习算法,两者的区别在于Q值的更新方式不同,Sarsa算法的Q值更新公式如下:

\begin{matrix} Q (s_{t}, a_{t}) ⟵ Q (s_{t}, a_{t}) + \\ β [r_{t} + γ Q (s_{t + 1}, a_{t + 1}) - Q (s_{t}, a_{t})] \end{matrix}

(11)

式中 $Q (s_{t + 1}, a_{t + 1})$ 为下一状态下一动作的Q值.
Sarsa算法属于在线学习算法,先通过 $ϵ$ -greedy策略执行动作,然后根据所执行的动作更新值函数.因此,如果使用Sarsa算法,装置会谨慎地选择播放音频,不断尝试.
2 结果与分析
2.1 鸟类反应类型定义
根据湖边小树林中的驱鸟实验情况确定各因素边界值,具体如表1所示.
表1 鸟类各反应类型评价标准
Table1 Evaluation criteria of bird responses
统计每次实验每只鸟 $\{u_{1}, u_{2}, u_{3}\}$ 的具体数值,计算各因素数值选用的隶属度函数如表2所示.
因为u₁和u₂数值越大说明驱鸟效果越好,而u₃数值越小说明驱鸟效果越好,所以对于良好情况,u₁和u₂选用偏大型梯型隶属度函数,u₃选用偏小型梯型隶属度函数.
通过梯型隶属度函数计算得到行为矩阵R,设权重矩阵T=[0.6,0.3,0.1],通过式(1)计算得到鸟类的最终行为表现B.
表2 隶属度函数选择
Table2 Selection of membership functions
2.2 单一音频鸟类驱离实验
在单一音频驱鸟实验中,对每个音频进行两组实验,统计对该音频有反应的鸟类数量,以此作为该音频驱鸟效果的主要参考依据,实验所得数据如表3所示.
采用SPSS25软件中单因素方差分析法分析不同音频的驱鸟效果是否有明显区别.显著性水平α=0.05,单因素方差分析法结果如表4所示.
表3 对各音频有反应的鸟类数量统计
Table3 Number of flying away in response to audio
表4 单因素方差分析法结果(不同音频的驱鸟效果)
Table4 Results of one-way variance analysis
单因素方差分析结果表明,各音频驱鸟均存在显著影响(P ＜0.05).
统计各音频驱鸟实验中不同反应的鸟类数量,所得结果如表5所示.
由表5的数据,使用CRITIC方法,并根据式(2)—(5)(其中g=2),计算得到各音频的权重值如表6所示.
由表6的数据可知:鹰叫声、秃鹫声、鞭炮声和冲锋号声权重值较大,这4个音频的共同特点是声音响亮且尖锐,说明音调高的声音更容易使鸟类受到惊吓,驱鸟效果更好;而鹰啼声由于音调较低,权重值相对较小.鹰叫声、鹰啼声与秃鹫声都是鹰科大型猛禽发出的叫声,但三者最后的权重值存在差异,推测是有些鸟类没有听过这类大型猛禽发出的叫声,因而这类声音对它们来说并不等于危险信号.类似地,惨叫声和炮弹声也不一定会使鸟类感到害怕.综上所述,音调高的声音驱鸟效果更好.
2.3 驱鸟策略对比实验
驱鸟策略对比实验一共做了8组,对于统计得到的实验数据,使用单因素方差分析法分析4种拟声驱鸟策略的驱鸟效果是否有明显区别,并使用SPSS25软件中LSD法对4种模式进行两两对比.将随机模式设置为空白对照组,如果其他3个模式与随机模式的驱鸟效果存在明显差异,则说明使用强化学习算法选择驱鸟音频能够提高装置的驱鸟效率,从而降低鸟类的适应性.此外,为了说明本文改进Q-learning算法能够进一步提高装置的驱鸟效率,统计了Sarsa算法模式、Q-learning算法模式和改进Q-learning算法模式下对驱鸟音频有反应的鸟类数量.
表5 各音频下不同反应的鸟类数量
Table5 Number of bird behaviors in response to audio
表6 各音频权重值
Table6 Audio weights
2.3.1 实验数据分析
使用单因素方差分析法分析4种驱鸟音频选择模式的驱鸟效果是否有明显区别,显著性水平α=0.05,所得结果如表7所示.
表7 单因素方差分析法结果(不同音频选择模式的驱鸟效果)
Table7 Results of one-way variance analysis
单因素方差分析结果表明,各音频驱鸟均存在显著影响(P ＜0.05).统计不同驱鸟音频选择模式下对驱鸟音频有反应的鸟类数量,使用SPSS25软件中LSD法对4种模式进行两两对比,所得结果如表8所示.
表8 4种模式的驱鸟效果对比
Table8 Comparison of bird-repelling performance
表8中模式1代表随机模式、模式2代表Sasra算法模式、模式3代表Q-learning算法模式、模式4代表改进Q-learning算法模式.当2个模式的比较指标——显著性P值＜0.05时,则认为这2个模式有明显区别.从表8的显著性P值可得:其他3个模式的驱鸟效果都与随机模式有明显区别,这也表明这3个模式的驱鸟效果都比随机模式好;而Sarsa算法模式与Q-learning算法模式的驱鸟效果没有明显区别;Sarsa算法模式与改进Q-learning算法模式、Q-learning算法模式与改进Q-learning算法模式的驱鸟效果存在明显区别,且改进Q-learning算法模式的驱鸟效果优于Q-learning算法模式.
2.3.2 策略对比
驱鸟实验中4种模式下对驱鸟音频有反应的鸟类数量与鸟类总量的比值如图2所示.
图2 4种模式的驱鸟效果
Fig.2 Bird-repelling performances of 4methods
由图2可知,改进Q-learning算法模式下有反应的鸟类数量占比达到76%,高于其他3个模式.
每次驱鸟实验中4种模式下对驱鸟音频有反应的鸟类数量统计结果如图3所示.
由图3可知,随机模式下有反应的鸟类数量波动性较大,驱鸟效果存在不确定性.对于Sarsa算法模式和Q-learning算法模式,由于前几次音频的选择是随机的,因此前几次音频播放后有反应的鸟类数量存在一定波动性;此外,由于2种算法Q值的更新方法不一样(Sarsa算法模式更偏向于保守地选择有效音频播放,而Q-learning算法模式则是大胆地选择有效音频播放),因此在后续驱鸟实验中,Sarsa算法模式下有反应的鸟类数量波动比Q-learning算法模式小,但随着学习的积累,2种模式下有反应的鸟类数量都会逐渐增加,最后均收敛于7~8只.对于改进Q-learning算法模式,由于开始驱赶时就考虑了单一音频驱鸟实验所得音频权重,因此前几次选择的音频就能有效驱赶鸟类,且最后收敛于8~9只,高于其他3种模式,驱鸟效果最好.
图3 4种模式对驱鸟音频有反应的鸟类数量
Fig.3 Mean and variance of bird repelling number in different modes
3 结论
本文主要研究了基于改进Q-learning算法的拟声驱鸟策略,实验数据显示驱鸟效率达到了76%,能够有效驱鸟.首先,为了评价各音频的驱鸟效果,结合模糊理论,提出鸟类反应类型的模糊定义方法,将鸟类听到音频后的动作行为量化为相应鸟类反应类型.其次,设计并进行了单一音频驱鸟实验,实验结果显示音调高的音频驱鸟效果更好,为装置驱鸟音频的选择提供了实验依据.为了使计算得到的各音频权重值更符合实际,优化了CRITIC方法的权重计算公式.最后,设计并进行了与其他拟声驱鸟策略的对比实验,实验结果显示基于改进Q-learning算法的拟声驱鸟策略驱鸟效果优于其他3种驱鸟策略,驱鸟效果稳定且收敛速度快,能够降低鸟类的适应性.
参考文献
- [1] Shi X,Tang H,Wang X,et al.The discussion on bird hazard prevention and control measures on the transmission lines[C]//Proceedings of 2018 6th International Conference on Machinery,Materials and Computing Technology,2018
- [2] Zhang H,Che R F,Du W,et al.Research on the protection range of bird droppings of 110 kV transmission line based on ANSYS maxwell[J].Journal of Physics:Conference Series,2019,1187(2):022052
- [3] 李帆,李阳林,张宇,等.架空输电线路涉鸟故障分析与防范[J].中国电力,2019,52(10):92-99;LI Fan,LI Yanglin,ZHANG Yu,et al.Analysis and prevention of bird fault overhead transmission line[J].Electric Power,2019,52(10):92-99
- [4] 程雷,王晓斌,徐彦昭,等.太原武宿国际机场鸟类多样性特征及鸟击防控[J].生态学杂志,2020,39(6):2014-2023;CHENG Lei,WANG Xiaobin,XU Yanzhao,et al.Characteristics of avian diversity and birdstrike prevention and control at Taiyuan Wusu International Airport[J].Chinese Journal of Ecology,2020,39(6):2014-2023
- [5] 胡坚,郭浩,章志鸿.输电线路鸟害综合防治技术研究[J].河北水利电力学院学报,2020,30(3):42-47;HU Jian,GUO Hao,ZHANG Zhihong.Research on comprehensive prevention technology of bird damage on transmission line[J].Journal of Hebei University of Water Resources and Electric Engineering,2020,30(3):42-47
- [6] 李凯,刘希和,余诗俊,等.利用绝缘子电容电压放电的输电线路驱鸟板[J].中国电力,2016,49(4):55-60;LI Kai,LIU Xihe,YU Shijun,et al.Design of transmission line anti-bird board by applying the discharge of capacitor voltage of insulators[J].Electric Power,2016,49(4):55-60
- [7] 何义良.基于主动检测技术的输电线路防鸟装置研究[D].北京:华北电力大学,2017;HE Yiliang.Research on anti bird device of transmission line based on active detection technology[D].Beijing:North China Electric Power University,2017
- [8] 袁佳炜,石复习.新型声光组合农田驱鸟装置设计[J].农业工程,2019,9(6):101-105;YUAN Jiawei,SHI Fuxi.Design of new type of acousto-optic combination farmland bird-repelling device[J].Agricultural Engineering,2019,9(6):101-105
- [9] 周自强,刘春翔,范鹏.基于主动探测技术的输电线路驱鸟策略研究[J].水电能源科学,2019,37(9):179-182;ZHOU Ziqiang,LIU Chunxiang,FAN Peng.Research on anti-bird strategy for transmission line based on active detection technology[J].Water Resources and Power,2019,37(9):179-182
- [10] 陈晓东,孙福军,刘洋,等.高压输电线路驱鸟试验研究[J].黑龙江电力,2011,33(1):53-57;CHEN Xiaodong,SUN Fujun,LIU Yang,et al.Study on bird repelling test for high-voltage transmission line[J].Heilongjiang Electric Power,2011,33(1):53-57
- [11] 谢将剑,李星光,杨俊,等.音频驱鸟设备对野生喜鹊最佳驱除模式研究[J].四川动物,2020,39(6):630-638;XIE Jiangjian,LI Xingguang,YANG Jun,et al.The optimal bird-repellent model of audio-bird-repellent for wild pica pica[J].Sichuan Journal of Zoology,2020,39(6):630-638
- [12] 金麟雨,李舒萌,赵小英,等.煤气炮和声波驱鸟器有效距离的评估[J].应用生态学报,2021,32(1):326-332;JIN Linyu,LI Shumeng,ZHAO Xiaoying,et al.Comparative evaluation of efficient bird repeller distance between gas gun and sound bird repeller[J].Chinese Journal of Applied Ecology,2021,32(1):326-332
- [13] 张淑萍,陈聪,王培哲,等.野生鸟类应激反应的生理机制及其生态意义[J].生态学杂志,2010,29(11):2280-2285;ZHANG Shuping,CHEN Cong,WANG Peizhe,et al.Physiological mechanism and ecological implications of wild bird stress response[J].Chinese Journal of Ecology,2010,29(11):2280-2285
- [14] 杜枫林,张淑萍,丁长青.鸟类应激反应的诱发和影响因素[J].动物学杂志,2020,55(4):518-531;DU Fenglin,ZHANG Shuping,DING Changqing.Inducement and influencing factors of avian stress response[J].Chinese Journal of Zoology,2020,55(4):518-531
- [15] Boussakssou M,Hssina B,Erittali M.Towards an adaptive E-learning system based on Q-learning algorithm[J].Procedia Computer Science,2020,170:1198-1203
- [16] Wang Y,Liu Y T,Chen W,et al.Target transfer Q-learning and its convergence analysis[J].Neurocomputing,2020,392:11-22
- [17] Jiang L,Huang H Y,Ding Z H.Path planning for intelligent robots based on deep Q-learning with experience replay and heuristic knowledge[J].IEEE/CAA Journal of Automatica Sinica,2020,7(4):1179-1189
- [18] Roh B S,Han M H,Ham J H,et al.Q-LBR:Q-learning based load balancing routing for UAV-assisted VANET[J].Sensors(Basel,Switzerland),2020,20(19):5685
- [19] Maoudj A,Hentout A.Optimal path planning approach based on Q-learning algorithm for mobile robots[J].Applied Soft Computing,2020,97:106796
- [20] Chakole J B,Kolhe M S,Mahapurush G D,et al.A Q-learning agent for automated trading in equity stock markets[J].Expert Systems with Applications,2021,163:113761
- [21] 阮晓钢,刘鹏飞,朱晓庆.基于气味奖励引导的Q-learning环境认知方法[J].清华大学学报(自然科学版),2021,61(3):254-260;RUAN Xiaogang,LIU Pengfei,ZHU Xiaoqing.Q-learning environment recognition method based on odor-reward shaping[J].Journal of Tsinghua University(Science and Technology),2021,61(3):254-260
- [22] 毛国君,顾世民.改进的Q-Learning算法及其在路径规划中的应用[J].太原理工大学学报,2021,52(1):91-97;MAO Guojun,GU Shimin.An improved Q-learning algorithm and its application in path planning[J].Journal of Taiyuan University of Technology,2021,52(1):91-97
- [23] 王鼎新.基于改进Q-learning算法的AGV路径规划[J].电子设计工程,2021,29(4):7-10,15;WANG Dingxin.AGV path planning based on improved Q-learning algorithm[J].Electronic Design Engineering,2021,29(4):7-10,15

基本信息

中图分类号: TM752
文献标识码: A
DOI: 10.13878/j.cnki.jnuist.2022.05.009

基金信息

广东电网有限责任公司科技项目(030700KK52190008)；

引用信息

稿件历史

收稿日期: 2021-12-06

参考文献

[1] Shi X,Tang H,Wang X,et al.The discussion on bird hazard prevention and control measures on the transmission lines[C]//Proceedings of 2018 6th International Conference on Machinery,Materials and Computing Technology,2018
[2] Zhang H,Che R F,Du W,et al.Research on the protection range of bird droppings of 110 kV transmission line based on ANSYS maxwell[J].Journal of Physics:Conference Series,2019,1187(2):022052
[3] 李帆,李阳林,张宇,等.架空输电线路涉鸟故障分析与防范[J].中国电力,2019,52(10):92-99;LI Fan,LI Yanglin,ZHANG Yu,et al.Analysis and prevention of bird fault overhead transmission line[J].Electric Power,2019,52(10):92-99
[4] 程雷,王晓斌,徐彦昭,等.太原武宿国际机场鸟类多样性特征及鸟击防控[J].生态学杂志,2020,39(6):2014-2023;CHENG Lei,WANG Xiaobin,XU Yanzhao,et al.Characteristics of avian diversity and birdstrike prevention and control at Taiyuan Wusu International Airport[J].Chinese Journal of Ecology,2020,39(6):2014-2023
[5] 胡坚,郭浩,章志鸿.输电线路鸟害综合防治技术研究[J].河北水利电力学院学报,2020,30(3):42-47;HU Jian,GUO Hao,ZHANG Zhihong.Research on comprehensive prevention technology of bird damage on transmission line[J].Journal of Hebei University of Water Resources and Electric Engineering,2020,30(3):42-47
[6] 李凯,刘希和,余诗俊,等.利用绝缘子电容电压放电的输电线路驱鸟板[J].中国电力,2016,49(4):55-60;LI Kai,LIU Xihe,YU Shijun,et al.Design of transmission line anti-bird board by applying the discharge of capacitor voltage of insulators[J].Electric Power,2016,49(4):55-60
[7] 何义良.基于主动检测技术的输电线路防鸟装置研究[D].北京:华北电力大学,2017;HE Yiliang.Research on anti bird device of transmission line based on active detection technology[D].Beijing:North China Electric Power University,2017
[8] 袁佳炜,石复习.新型声光组合农田驱鸟装置设计[J].农业工程,2019,9(6):101-105;YUAN Jiawei,SHI Fuxi.Design of new type of acousto-optic combination farmland bird-repelling device[J].Agricultural Engineering,2019,9(6):101-105
[9] 周自强,刘春翔,范鹏.基于主动探测技术的输电线路驱鸟策略研究[J].水电能源科学,2019,37(9):179-182;ZHOU Ziqiang,LIU Chunxiang,FAN Peng.Research on anti-bird strategy for transmission line based on active detection technology[J].Water Resources and Power,2019,37(9):179-182
[10] 陈晓东,孙福军,刘洋,等.高压输电线路驱鸟试验研究[J].黑龙江电力,2011,33(1):53-57;CHEN Xiaodong,SUN Fujun,LIU Yang,et al.Study on bird repelling test for high-voltage transmission line[J].Heilongjiang Electric Power,2011,33(1):53-57
[11] 谢将剑,李星光,杨俊,等.音频驱鸟设备对野生喜鹊最佳驱除模式研究[J].四川动物,2020,39(6):630-638;XIE Jiangjian,LI Xingguang,YANG Jun,et al.The optimal bird-repellent model of audio-bird-repellent for wild pica pica[J].Sichuan Journal of Zoology,2020,39(6):630-638
[12] 金麟雨,李舒萌,赵小英,等.煤气炮和声波驱鸟器有效距离的评估[J].应用生态学报,2021,32(1):326-332;JIN Linyu,LI Shumeng,ZHAO Xiaoying,et al.Comparative evaluation of efficient bird repeller distance between gas gun and sound bird repeller[J].Chinese Journal of Applied Ecology,2021,32(1):326-332
[13] 张淑萍,陈聪,王培哲,等.野生鸟类应激反应的生理机制及其生态意义[J].生态学杂志,2010,29(11):2280-2285;ZHANG Shuping,CHEN Cong,WANG Peizhe,et al.Physiological mechanism and ecological implications of wild bird stress response[J].Chinese Journal of Ecology,2010,29(11):2280-2285
[14] 杜枫林,张淑萍,丁长青.鸟类应激反应的诱发和影响因素[J].动物学杂志,2020,55(4):518-531;DU Fenglin,ZHANG Shuping,DING Changqing.Inducement and influencing factors of avian stress response[J].Chinese Journal of Zoology,2020,55(4):518-531
[15] Boussakssou M,Hssina B,Erittali M.Towards an adaptive E-learning system based on Q-learning algorithm[J].Procedia Computer Science,2020,170:1198-1203
[16] Wang Y,Liu Y T,Chen W,et al.Target transfer Q-learning and its convergence analysis[J].Neurocomputing,2020,392:11-22
[17] Jiang L,Huang H Y,Ding Z H.Path planning for intelligent robots based on deep Q-learning with experience replay and heuristic knowledge[J].IEEE/CAA Journal of Automatica Sinica,2020,7(4):1179-1189
[18] Roh B S,Han M H,Ham J H,et al.Q-LBR:Q-learning based load balancing routing for UAV-assisted VANET[J].Sensors(Basel,Switzerland),2020,20(19):5685
[19] Maoudj A,Hentout A.Optimal path planning approach based on Q-learning algorithm for mobile robots[J].Applied Soft Computing,2020,97:106796
[20] Chakole J B,Kolhe M S,Mahapurush G D,et al.A Q-learning agent for automated trading in equity stock markets[J].Expert Systems with Applications,2021,163:113761
[21] 阮晓钢,刘鹏飞,朱晓庆.基于气味奖励引导的Q-learning环境认知方法[J].清华大学学报(自然科学版),2021,61(3):254-260;RUAN Xiaogang,LIU Pengfei,ZHU Xiaoqing.Q-learning environment recognition method based on odor-reward shaping[J].Journal of Tsinghua University(Science and Technology),2021,61(3):254-260
[22] 毛国君,顾世民.改进的Q-Learning算法及其在路径规划中的应用[J].太原理工大学学报,2021,52(1):91-97;MAO Guojun,GU Shimin.An improved Q-learning algorithm and its application in path planning[J].Journal of Taiyuan University of Technology,2021,52(1):91-97
[23] 王鼎新.基于改进Q-learning算法的AGV路径规划[J].电子设计工程,2021,29(4):7-10,15;WANG Dingxin.AGV path planning based on improved Q-learning algorithm[J].Electronic Design Engineering,2021,29(4):7-10,15

地址：江苏省南京市宁六路219号邮编：210044

联系电话：025-58731025 E-mail：nxdxb@nuist.edu.cn

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

基于改进Q-learning算法的输电线路拟声驱鸟策略研究

Audio bird repelling strategy for transmission line based on improved Q-learning algorithm

摘要

Abstract

关键词

Keywords

0 引言

1 研究方法

1.1 驱鸟实验设计

1.2 实验方法

1.2.1 基于模糊理论的鸟类反应类型定义

(1)

1.2.2 音频权重值计算

(2)

(3)

(4)

(5)

1.3 基于Q-learning算法的拟声驱鸟策略研究

1.3.1 Q-learning算法

1.3.2 基于Q-learning算法和音频权重值的拟声驱鸟策略研究

(6)

(7)

(8)

(9)

(10)

1.3.3 Sarsa算法

(11)

2 结果与分析

2.1 鸟类反应类型定义

2.2 单一音频鸟类驱离实验

2.3 驱鸟策略对比实验

2.3.1 实验数据分析

2.3.2 策略对比

3 结论

参考文献

基本信息

基金信息

引用信息

稿件历史

参考文献