en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。
作者简介:

臧强,男,博士,副教授,从事复杂非线性系统的鲁棒控制、自适应控制、神经网络及电力系统应用研究工作.autozang@163.com

中图分类号:TP242

文献标识码:A

DOI:10.13878/j.cnki.jnuist.2022.06.015

参考文献 1
Hongan N.Impedance control:an approach to manipulation:part Ⅱ—implementation [J].Journal of Dynamic Systems,Measurement,and Control,1985,107:8-16
参考文献 2
Raibert M H,Craig J J.Hybrid position/force control of manipulators[J].Journal of Dynamic Systems,Measurement,and Control,1981,103(2):126-133
参考文献 3
Beretta E,Nessi F,Ferrigno G,et al.Enhanced torque-based impedance control to assist brain targeting during open-skull neurosurgery:a feasibility study[J].The International Journal of Medical Robotics and Computer Assisted Surgery,2016,12(3):326-341
参考文献 4
潘冬,李大明,胡成威,等.一种基于位置阻抗的机械臂抓捕飞行器控制方法[J].载人航天,2018,24(3):308-312;PAN Dong,LI Daming,HU Chengwei,et al.A spacecraft capture method with manipulator based on impedance control[J].Manned Spaceflight,2018,24(3):308-312
参考文献 5
Kitazawa T,Kurisu M,Takemasa S.Impedance control of a mobile robot with dual arms for a tumbling operation[C]//2017 11th Asian Control Conference(ASCC).December 17-20,2017,Gold Coast,QLD.IEEE,2017:25-30
参考文献 6
Zhu Q D,Xie X R,Li C,et al.Adaptive impedance control method for industrial manipulator writing based on Kalman filter[C]//2018 37th Chinese Control Conference(CCC).July 25-27,2018,Wuhan.IEEE,2018:496-501
参考文献 7
姜力,蔡鹤皋,刘宏.基于滑模位置控制的机器人灵巧手模糊自适应阻抗控制[J].控制与决策,2001,16(5):612-616;JIANG Li,CAI Hegao,LIU Hong.Fuzzy adaptive impedance control of dextrous robot hand based on sliding mode position control[J].Control and Decision,2001,16(5):612-616
参考文献 8
吴攀峰.六自由度工业机器人的NURBS曲线插补算法的研究 [D].杭州:浙江工业大学,2013;WU Panfeng.The research on NURBS curve interpolation algorithm of six-DOF industrial robot [D].Hangzhou:Zhejiang University of Technology,2013
参考文献 9
Mendes N,Neto P.Indirect adaptive fuzzy control for industrial robots:a solution for contact applications[J].Expert Systems with Applications,2015,42(22):8929-8935
参考文献 10
Xu Z H,Zhou X F,Cheng T B,et al.Fuzzy-neural-network based position/force hybrid control for multiple robot manipulators[C]//2017 IEEE International Conference on Cybernetics and Intelligent Systems(CIS)and IEEE Conference on Robotics,Automation and Mechatronics(RAM).November 19-21,2017,Ningbo.IEEE,2017:94-99
参考文献 11
Tooranjipour P,Vatankhah R,Arefi M M.Prescribed performance adaptive fuzzy dynamic surface control of nonaffine time-varying delayed systems with unknown control directions and dead-zone input[J].International Journal of Adaptive Control and Signal Processing,2019,33(7):1134-1156
参考文献 12
Pham D T,Nguyen T V,Le H X,et al.Adaptive neural network based dynamic surface control for uncertain dual arm robots[J].International Journal of Dynamics and Control,2019,8:824-834
参考文献 13
Hu Q L,Xu L,Zhang A H.Adaptive backstepping trajectory tracking control of robot manipulator[J].Journal of the Franklin Institute,2012,349(3):1087-1105
参考文献 14
Yen V T,Nan W Y,van Cuong P,et al.Robust adaptive sliding mode control for industrial robot manipulator using fuzzy wavelet neural networks[J].International Journal of Control,Automation and Systems,2017,15(6):2930-2941
参考文献 15
Yen V T,Nan W Y,van Cuong P.Recurrent fuzzy wavelet neural networks based on robust adaptive sliding mode control for industrial robot manipulators[J].Neural Computing and Applications,2019,31(11):6945-6958
参考文献 16
于欣波,贺威,薛程谦,等.基于扰动观测器的机器人自适应神经网络跟踪控制研究[J].自动化学报,2019,45(7):1307-1324;YU Xinbo,HE Wei,XUE Chengqian,et al.Disturbance observer-based adaptive neural network tracking control for robots[J].Acta Automatica Sinica,2019,45(7):1307-1324
参考文献 17
Song L,Wang H Q,Liu P X.Adaptive fuzzy dynamic surface control of flexible-joint robot systems with input saturation[J].CAA Journal of Automatica Sinica,2019,6(1):97-107
参考文献 18
Guo S X,Chen Q R,Xiao N,et al.A fuzzy PID control algorithm for the interventional surgical robot with guide wire feedback force[C]//2016 IEEE International Conference on Mechatronics and Automation.August 7-10,2016,Harbin,Heilongjiang,China.IEEE,2016:426-430
参考文献 19
Zhao J,Han L,Wang L,et al.The fuzzy PID control optimized by genetic algorithm for trajectory tracking of robot arm[C]//2016 12th World Congress on Intelligent Control and Automation(WCICA).June 12-15,2016,Guilin,China.IEEE,2016:556-559
参考文献 20
Adeli M,Mazinan A H.High efficiency fault-detection and fault-tolerant control approach in Tennessee Eastman process via fuzzy-based neural network representation[J].Complex & Intelligent Systems,2020,6(1):199-212
参考文献 21
Lü M L,Baldi S,Liu Z C.The non-smoothness problem in disturbance observer design:a set-invariance-based adaptive fuzzy control method[J].IEEE Transactions on Fuzzy Systems,2019,27(3):598-604
参考文献 22
Yuan J,Wang R,Jiang L.Research on neural network PID adaptive control with industrial welding robot in multi-degree of freedom[C]//2016 IEEE Information Technology,Networking,Electronic and Automation Control Conference.May 20-22,2016,Chongqing,China.IEEE,2016:280-284
参考文献 23
Wang F,Chao Z Q,Huang L B,et al.Trajectory tracking control of robot manipulator based on RBF neural network and fuzzy sliding mode[J].Cluster Computing,2019,22(sup3):5799-5809
参考文献 24
Ruchika,Kumar N.Finite time control scheme for robot manipulators using fast terminal sliding mode control and RBFNN[J].International Journal of Dynamics and Control,2019,7(2):758-766
参考文献 25
Jung S.Improvement of tracking control of a sliding mode controller for robot manipulators by a neural network[J].International Journal of Control,Automation and Systems,2018,16(2):937-943
参考文献 26
Cuayahuitl H,Lee D,Ryu S,et al.Deep reinforcement learning for chatbots using clustered actions and human-likeness rewards[C]//2019 International Joint Conference on Neural Networks(IJCNN).July 14-19,2019,Budapest,Hungary.IEEE,2019:1-8
参考文献 27
Passalis N,Tefas A.Continuous drone control using deep reinforcement learning for frontal view person shooting[J].Neural Computing and Applications,2020,32(9):4227-4238
参考文献 28
Murad A,Kraemer F A,Bach K,et al.Autonomous management of energy-harvesting IoT nodes using deep reinforcement learning[C]//2019 IEEE 13th International Conference on Self-Adaptive and Self-Organizing Systems(SASO).June 16-20,2019,Umea,Sweden.IEEE,2019:43-51
参考文献 29
Zhang L,Jia J D,Gui G,et al.Deep learning based improved classification system for designing tomato harvesting robot[J].IEEE Access,2018,6:67940-67950
参考文献 30
Doan K N,Vaezi M,Shin W,et al.Power allocation in cache-aided NOMA systems:optimization and deep reinforcement learning approaches[J].IEEE Transactions on Communications,2020,68(1):630-644
参考文献 31
Trasnea B,Marina L A,Vasilcoi A,et al.GridSim:a vehicle kinematics engine for deep neuroevolutionary control in autonomous driving[C]//2019 Third IEEE International Conference on Robotic Computing(IRC).February 25-27,2019,Naples,Italy.IEEE,2019:443-444
参考文献 32
江其洲,曾碧.基于深度强化学习的移动机器人导航策略研究[J].计算机测量与控制,2019,27(8):217-221;JIANG Qizhou,ZENG Bi.Research on navigation strategy of mobile robot based on deep reinforcement learning [J].Computer Measurement & Control,2019,27(8):217-221
参考文献 33
Nguyen N D,Nguyen T,Nahavandi S,et al.Manipulating soft tissues by deep reinforcement learning for autonomous robotic surgery[C]//2019 IEEE International Systems Conference(SysCon).April 8-11,2019,Orlando,FL,USA.IEEE,2019.DOI:10.1109/SYSCON.2019.8836924
参考文献 34
van Hasselt H,Guez A,Silver D,et al.Deep reinforcement learning with double Q-learning[J].arXiv,2015,arXiv:1509.06461
参考文献 35
Horgan D,Quan J,Budden D,et al.Distributed prioritized experience replay[J].arXiv,2018,arXiv:1803.00933
参考文献 36
Wang Z Y,Schaul T,Hessel M,et al.Dueling network architectures for deep reinforcement learning[J].arXiv,2015,arXiv:1511.06581
参考文献 37
Sutton R S,McAllester D,Singh S,et al.Policy gradient methods for reinforcement learning with function approximation[C]//Advances in Neural Information Processing Systems,1999:1057-1063
参考文献 38
Mnih V,Badia A P,Mirza M,et al.Asynchronous methods for deep reinforcement learning[J].arXiv,2016:arXiv:1602.01783
参考文献 39
Wen S H,Chen J H,Wang S,et al.Path planning of humanoid arm based on deep deterministic policy gradient[C]//2018 IEEE International Conference on Robotics and Biomimetics(ROBIO).December 12-15,2018,Kuala Lumpur,Malaysia.IEEE,2018:1755-1760
参考文献 40
Luo J L,Solowjow E,Wen C T,et al.Deep reinforcement learning for robotic assembly of mixed deformable and rigid objects[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).October 1-5,2018,Madrid.IEEE,2018.DOI:10.1109/IROS.2018.8594353
参考文献 41
Wu X P,Zhang D P,Qin F B,et al.Deep reinforcement learning of robotic precision insertion skill accelerated by demonstrations[C]//2019 IEEE 15th International Conference on Automation Science and Engineering(CASE).August 22-26,2019,Vancouver,BC,Canada.IEEE,2019:1651-1656
参考文献 42
Yoo J W,Ronzio F,Courtois T.Road noise reduction of a sport utility vehicle via panel shape and damper optimization on the floor using genetic algorithm[J].International Journal of Automotive Technology,2019,20(5):1043-1050
参考文献 43
Panchu K P,Rajmohan M,Sumalatha M R,et al.Route planning integrated multi objective task allocation for reconfigurable robot teams using genetic algorithm[J].Journal of Computational and Theoretical Nanoscience,2018,15(2):627-636
参考文献 44
Yue L W,Chen H N.Unmanned vehicle path planning using a novel ant colony algorithm[J].EURASIP Journal on Wireless Communications and Networking,2019,2019:136
参考文献 45
Zarrouk R,Bennour I E,Jemai A.A two-level particle swarm optimization algorithm for the flexible job shop scheduling problem[J].Swarm Intelligence,2019,13(2):145-168
参考文献 46
Xu Z Y,Du L,Wang H P,et al.Particle swarm optimization-based algorithm of a symplectic method for robotic dynamics and control[J].Applied Mathematics and Mechanics,2019,40(1):111-126
参考文献 47
Faieghi M R,Delavari H,Baleanu D.A novel adaptive controller for two-degree of freedom polar robot with unknown perturbations[J].Communications in Nonlinear Science and Numerical Simulation,2012,17(2):1021-1030
参考文献 48
吴方圆,姚江云.粒子群神经网络辨识的机器人分数阶滑模控制[J].电子测量技术,2019,42(9):10-13;WU Fangyuan,YAO Jiangyun.Fractional order sliding mode control of industrial robot based on particle swarm optimization neural network [J].Electronic Measurement Technology,2019,42(9):10-13
参考文献 49
Aldair A A,Rashid A T,Rashid M T,et al.Adaptive fuzzy control applied to seven-link biped robot using ant colony optimization algorithm[J].Iranian Journal of Science and Technology,Transactions of Electrical Engineering,2019,43(4):797-811
目录contents

    摘要

    针对机器人作业时新的力控制要求,本文综述了现有的传统控制策略与智能控制策略.首先介绍传统力控制策略中的阻抗控制、位/力混合控制与自适应控制,其次介绍智能控制策略中的模糊控制、神经网络与优化控制.同时,对各控制算法基本原理进行深入分析,列举各算法的应用成果,并对未来力控制研究提出了展望.

    Abstract

    To deal with the contact force for industrial robots,this paper reviewed the existing traditional control strategies including impedance control,position/force hybrid control and adaptive control,and overviewed intelligent control strategies such as fuzzy control,neural network and optimal control.This paper detailed the basic principles of each robot force control algorithm,then enumerated some application results,and prospected the future development of robot force control.

    关键词

    机器人力控制智能控制

  • 0 引言

  • 机器人最初应用于汽车制造业,随着算法与制造技术的成熟,机器人广泛应用于抛光、打磨、去毛刺等精细化工作中,在这些工作中出现的环境接触力会影响机器人的工作质量.机器人通过搭载力传感器,将传感器的检测信息作为力反馈信号,实现机器人对环境接触力的控制,使机器人能够稳定准确地完成作业.目前机器人力控制策略方法大致分为阻抗控制、位/力混合控制、自适应控制和智能控制四类.随着工业生产的自动化与智能化,以及人工智能技术的不断发展,智能控制策略成为机器人力控制的发展主流与研究重点.为方便对控制方法进行介绍,将控制方法大致分为传统控制(阻抗控制、位/力混合控制、自适应控制)与智能控制两类.

  • Hogan[1]提出了阻抗控制方法,用于分析环境刚度不确定的情况.位/力混合控制方法来源于Raibert等[2]提出的对位置与力同时控制的想法,根据工业机器人工作的内容,针对机器人的各个关节进行位置控制或力控制.自适应控制方法是根据生物通过改变自身习性以适应环境的特征而设计的一种控制方法.这些控制方法在应用时,需要被控对象建立准确的模型.但由于机器人本身一直存在着时变性、不确定性以及强耦合性,使得机器人难以建立模型.此外,机器人末端的力反馈输入也让建立整个机器人的模型变得更为困难.机器人模型的难以建立,让传统控制策略无法彻底地解决机器人力控制问题,无法达到期望的工作效果.

  • 智能控制策略是一系列智能控制方法的总称,其中常用的控制方法是模糊逻辑控制、神经网络控制以及优化算法控制等.模糊逻辑控制是源于模糊集合理论的控制方法,它通过大量经验形成的模糊规则进行决策控制; 神经网络控制方法通过训练神经网络模型来决策控制; 优化算法控制主要是通过仿生动物的群体智能行为来决策控制.这些智能控制方法相较于传统控制方法,极大地降低了对模型准确度的要求,因此智能控制方法提出后,被广泛应用于机器人领域.

  • 1 传统控制策略

  • 传统力控制策略主要是阻抗控制、位/力混合控制与自适应控制方法.本章将依次介绍阻抗控制、位/力混合控制以及自适应控制的相关知识,并介绍其与智能控制方法相结合的机器人应用实例.

  • 1.1 阻抗控制

  • 阻抗控制主要从力与位置两个方面进行研究,分别为基于力的阻抗控制与基于位置的阻抗控制.基于力的阻抗控制通过控制关节驱动力矩阵来实现对末端接触力和位移的调整,而基于位置的阻抗控制则是根据机器人与环境的接触力偏差,通过调整机器人末端的位置/速度实现控制的.

  • 1.1.1 基于力矩的阻抗控制

  • 基于力矩的阻抗控制(Torque-Based Impedance Control)需要精确的机器人动力学模型,以此来精确地控制接触力.基于力矩的阻抗控制模型如图1所示.图中MdBdKd 分别表示期望阻抗模型的惯性对角阵、阻尼对角阵和刚度对角阵; XX˙X¨分别表示笛卡尔空间中机器人实际位置、速度和加速度向量; XdX˙dX¨d分别表示笛卡尔空间中机器人期望位置、速度和加速度向量; Fr 表示阻抗模型中定义的力指令,Fe 表示传感器反馈的力; J表示雅可比矩阵.机器人控制是在关节空间中进行的,所以 FrFe 都要进行力变换产生关节驱动力: τr=JTθFrτe=JTθFe .

  • Beretta等[3]在对神经外科的医疗机器人的研究中,验证一种基于扭矩的阻抗来辅助脑靶向方法施行的可行性.对于手术机器人而言,控制的精度以及振动抑制尤为重要,所以Beretta 等[3]结合脑内图像的导航系统,提出变阻尼控制和基于力反馈增强控制两种改进的基于力矩的阻抗控制方法.这两种控制方法将脑模拟影像作为实验基础,并选取13位初级使用者与8位医生参与实验,实验结果表明带有力反馈增强的空间变量控制器指向精度满足临床准确度要求(<1 mm),并且能够有效地抑制手部震颤,减少使用者60%的工作量.但其空间变量的动态参数有待调节以获取更好的系统稳定性.此外该方法目前只是虚拟模拟,未来还需要考虑在手术中与机械手的安全交互问题.

  • 1.1.2 基于位置的阻抗控制

  • 基于位置的阻抗控制(Position-Based Impedance Control)有2个控制环组成,即阻抗控制环与位置控制环.位置控制环是对期望位置、位置补偿量及实际位置3个位置量数据进行计算,使机器人的实际位置不断地接近期望的位置.阻抗控制环主要是通过计算期望力与实际力的差值,获得位置修正.它通过实际检测机器人与环境之间的作用力不断地调整目标的阻抗参数,然后通过位置控制器控制机器人的位置,最终实现力控制.阻抗控制环的反馈作用力Fe的频域表达式为

  • E (s) =-Fe (s) Mds2+Bds+Kd.

  • 在图2中,机器人位置控制指令Xd 由参考轨迹Xr 与位置修正量e 相加获得,当机器人与环境接触时,假设位置控制环节没有误差,可知 X=Xd,求得位置修正量 e=X-Xr .机器人与环境无接触时,反馈作用力为0,则位置修正量也为0.

  • 北京市智能机器人系统技术与应用重点实验室[4]设计了一种基于位置阻抗的机械臂抓捕飞行器控制方法,在不测量接触力而仅获得关节角度与角速度信息的情况下,通过改进现有的关节位置闭环控制,对机械臂末端等效刚度控制实现机械臂抓捕目标过程的柔顺控制,避免机械臂抓捕飞行器过程中,因碰撞冲击与结构变化时产生的易碰撞问题.该方法的实质是通过控制不同构型下关节刚度进而保证机械臂末端刚度为恒定期望值,根据末端刚度不随机械臂构型变化而变化的特性,可以将机械臂抓捕目标接触过程变为等效的弹簧阻尼二阶系统.阻抗控制方法相对于位置保持硬抓捕方法,不但可以减少机械末端与目标之间的碰撞和对基体位姿的影响,还可以控制机械臂的构型不发生大变化,保证抓捕过程的安全.

  • 图1 基于力矩的阻抗控制

  • Fig.1 Torque-based impedance control

  • 图2 基于位置的阻抗控制

  • Fig.2 Position-based impedance control

  • Kitazawa等[5]在救灾机械设计中应用阻抗控制方法设计了一种移动双臂机器人,主要用于对灾害造成的巨石等大物体的移动.该机器人的阻抗控制流程通过测量机械臂末端执行器的位置、速度以及接触力,获取反馈信息,根据反馈信息调节机械臂的各个关节实现机械阻抗.

  • 单一的阻抗控制方法无论是基于位置控制还是基于力矩的阻抗控制方法,其控制精度过分依赖于环境信息.针对阻抗控制在实际使用中模糊的环境信息会造成结果的较大误差,难以应用于高精度的力控制场所的现象,机器人专家们提出了引入其他控制策略与阻抗控制策略相结合的方式,来改善阻抗控制策略,例如自适应阻抗控制[6]、模糊自适应阻抗控制[7]等.

  • 1.2 位/力混合控制

  • 位/力混合控制策略是指根据笛卡尔坐标系下的雅可比矩阵将机器人工作空间的力与位置分配到机器人的各个关节,其控制结构如图3所示.通过选择矩阵C将机器人的运动空间分解为力控制空间与位置控制空间,为每个关节只分配一种控制方式,实现对整个机器人进行力与位置分开控制,两种控制回路独立运行互不干扰.但是位/力混合控制需要计算每个控制关节的关节力矩,使计算量增加,造成控制延时无法对机器人进行有效的实时控制[8].

  • 图3 位/力混合控制

  • Fig.3 Position/force hybrid control

  • 目前对于机器人的位/力混合控制的研究主要分为以下3个方面:

  • 1)建立精准的工作空间的模型:模型的不精确会导致控制系统无法完成预期的任务.

  • 2)控制环境接触力:目前机器人工作时,常常会遇见与环境或者工作对象接触的情况,接触过程中会产生相应的接触力.如果不对接触力加以控制,会对机器人本体、末端执行器以及接触对象表面造成相应的损害.

  • 3)提高系统的稳定性:机器人系统的稳定性是评价系统好坏的主要依据,以往的力控制算法常存在系统响应不稳定与响应缓慢的情况,所以需要设计控制器提高系统稳定性.

  • 随着对机械操作的精细化与智能化要求提高,仅靠位/力控制方法已无法满足控制的精度要求.研究者们开始寻求以智能化控制方法来设计位/力控制系统中的位置控制与力控制回路的控制器,以此来补偿系统的不确定性,提高控制系统性能.近期应用于工业机器人上的位/力混合控制的研究有:

  • Mendes等[9]为解决工业机器人接触问题,提出一种力/运动的混合控制系统,在力控制回路中设计一种自适应模糊控制器来处理机器人末端执行器与物体表面的接触问题.该系统的特点是利用自适应控制律将模糊系统的参数初始为零,以及不需要建立精确的机器人的模型.它通过在线学习和自适应补偿,实现对机器人不确定性的补偿.该控制方法可以用于搅拌、焊接、去毛刺、抛光和装配等多个领域.

  • Xu等[10]研究了多机器人协同操作的位/力混合控制问题.多机器人协同操作系统因为物理结构的闭合链使得每个机械手的位置与速度受到使用工具的限制,而且动态不确实性让整个系统更加复杂且耦合.因此提出基于位/力混合控制的模糊神经网络多机器人协作控制系统.该方法根据运动学与动力学模型,基于位/力混合控制思想设计控制策略.该方法的改进之处在于用模糊神经网络设计位置控制器用于补偿未知动力学的非线性部分; 引入协同控制项来减少机器人之间的相互影响; 力控制器由前馈项与比例控制项组成.最后,他们利用Lyapunov理论证明系统的闭环稳定性,并通过仿真实验验证了控制策略的可行性.

  • 1.3 自适应控制

  • 自适应控制的控制过程:获取控制系统的输入输出与相关的状态信息; 通过辨识机构对系统的相关参数与状态进行估计,并计算系统的性能指标; 通过对比计算出系统当前性能与期望性能的偏差值,根据偏差值做出相应的决策,确定当前系统的控制策略; 根据确定的控制策略在线调整系统的输入信号与控制器参数,使系统逐渐趋于最优状态.其控制结构如图4所示.

  • 图4 自适应控制组成

  • Fig.4 Adaptive control composition

  • 从控制系统设计的3个基本指标上来分析自适应控制系统在机器人应用中存在的问题:

  • 1)在稳定性方面,任何自适应控制系统都应该具有保证全局稳定的能力,但目前仅有通过Lyapunov稳定定理与Popov超稳定理论设计的时不变系统才较为成熟,非线性与随机系统并未达到要求.

  • 2)在收敛性方面,自适应算法的自身非线性特点使得收敛理论的建立较为困难,仅有一些简单的自适应系统可以通过Lyapunov稳定性理论来判断收敛性.此外,收敛结果的局限性较大而且分析时假设的条件太多,只能用于特定环境,无法用于实际应用中.

  • 3)在性能指标方面,由于系统的非线性、时变性以及不确定的初始条件等因素使得自适应控制系统的动态性能难以分析,目前的研究成果较少.

  • 为改善自适应控制系统的问题,常将自适应控制方法与其他控制方法相结合,形成自适应模糊控制[11]、自适应神经网络控制[12]等方法.利用自适应控制可以适应控制对象与扰动的动态特征的特性,将自适应算法主要用作对整体系统参数的设定调节方面,充分发挥自适应控制的独特优势.近期自适应控制与其他控制相结合应用于工业机器人上的代表性研究有:

  • Hu等[13]针对存在不确定参数和外界干扰的机器人任务空间轨迹跟踪问题,提出一种自适应反演控制方案.根据运动学与动力学的不确定性与外部干扰,建立相应的自适应参数更新律,并通过定义相应的李雅普诺夫函数保证系统的渐近稳定性; 采用损失方程保证外界扰动对被控对象L2的输出增益低于期望值; 控制方法对于被控对象L2增益的大小没有限制,可以达到L2扰动衰减的任意水平.通过计算的数值结果证明自适应反演控制方法在模型不确定性与时变扰动的情况下跟踪目标轨迹的鲁棒性.但该控制方法目前只使用特定的轨迹跟踪公式进行仿真证明了有效性,对任意轨迹跟踪有效性需要进一步研究.未来应用到机器人姿态控制实验还需要能够在硬件平台上数字化实现.

  • Yen等[14-15]针对不确定性和扰动的工业机器人轨迹跟踪控制问题,提出一种基于动态结构模糊小波神经网络系统的鲁棒自适应控制方法.该控制方案根据模糊逻辑与后向小波函数,设计一种4层结构模糊神经网络用于补偿结构的不确定性与非结构不确定性; 采用自适应学习算法来调节动态结构模糊小波神经网络系统的参数,以此减少逼近误差值提高系统的控制性能; 根据Lyapunov定理确定自适应鲁棒控制律,保证系统的全局稳定性,使系统跟踪误差值控制在期望精度内.该控制方法通过与小波控制和自适应模糊控制实验对比后,证明了有效性.

  • 于欣波等[16]针对机器人动力学模型未知问题,通过设计扰动观测器来补偿系统的未知扰动,提出一种基于扰动观测器的自适应神经网络跟踪控制策略.利用RBF神经网络学习机器人不确定模型,选择适合的增益参数将系统跟踪的误差值降到零域,根据Lyapunov稳定性定理设计自适应控制律,证明了系统的误差信号半全局一致有界性.最后通过仿真证明有效性并应用于实际的机器人实验中.

  • 2 智能控制策略

  • 智能化的理念逐渐在控制领域被提出,机器人研究者们也相继提出希望将智能化的控制手段应用到机器人控制中,实现机器人的智能力控制.智能力控制指的是利用智能控制技术处理机器人传感器反馈的信息,使机器人能够在任意的操作环境中在无人干扰时实现自我调节与自适应,并且不断地自我学习改进后的执行结果,能够实现整个作业过程的准确而又快速的稳定控制.

  • 智能控制策略中存在着不同的控制系统,目前主流的智能控制策略大致为:模糊逻辑控制系统、神经网络控制系统、优化算法控制系统等.

  • 2.1 模糊逻辑控制

  • 模糊逻辑控制是以模糊集理论、模糊语言变量和模糊逻辑推理为基础的一种智能控制方法,它是从行为上模仿人的模糊推理和决策过程的一种智能控制方法.该方法首先将操作人员或专家经验编成模糊规则,然后将来自传感器的实时信号模糊化,将模糊化后的信号作为模糊规则的输入,完成模糊推理,将推理后得到的输出量加到执行器上.模糊控制原理如图5所示.

  • Song等[17]研究单连杆柔性关节机器人系统输入饱和跟踪问题,对动态表面控制方法进行改进,设计了自适应模糊控制动态表面控制方法.该方法主要采用平滑函数与中值定理处理系统输入饱和的问题,基于带辅助一阶滤波器设计自适应动态表面控制器解决系统复杂性激增的问题.该方案能够保证闭环系统中所有信号是半全局一致有界.相比于原有的动态表面控制方法,改进的自适应模糊动态表面控制方法在输入饱和的情况下,系统输出能够更好地对目标轨迹进行跟踪,并且能够极大地减少计算量,提高系统响应速度.但是该方法存在一定的误差会限制系统的性能.

  • 目前模糊控制与其他控制方法结合,有效地改善了控制效果并开始广泛应用于机器人的各个领域,例如模糊PID用于手术机器人[18-19]、模糊神经网络用于机器人轨迹规划[20]、自适应模糊控制用于机器人时滞系统[21]等.

  • 2.2 神经网络控制

  • 神经网络作为多学科交叉融合的前沿研究技术,具有充分逼近任意复杂非线性能力、并行分布处理能力、自适应能力、自学习能力、较强的鲁棒性和容错能力等.学者们将神经网络与机器人控制领域的控制方法结合,对原有的控制方法进行改进获得了更好的控制效果.

  • 图5 模糊控制原理框图

  • Fig.5 Fuzzy control block diagram

  • 2.2.1 经典神经网络的控制方法

  • 经典的神经网络控制方法有BP神经网络、RBF神经网络、递归神经网络等.BP神经网络全称为反向传播(Back Propagation)神经网络,它是一种多层前馈神经网络.BP神经网络的优点是具有好的非线性映射能力、自学习与自适应能力、较好的泛化能力与容错能力.但是BP神经网络对于初始网络权重非常敏感,往往会出现局部极小化的问题.BP神经网络算法本质是梯度下降算法,而且优化的函数比较复杂,故收敛的速度慢.另外,BP神经网络结构选择不一,而网络结构直接影响网络的逼近能力及推广性质.

  • Yuan等[22]设计了一种改进BP神经网络PID控制算法,用于多自由度工业机器人运动控制系统,使控制器能够更好地控制复杂运动过程,其结构如图6所示.该方法利用神经网络的自学习能力离线识别控制对象模型,修正其网络权值,逐步适应对象的特性.当学习与被控对象保持一致时,NNPID将成为一个在线控制器.在此过程中,NNI利用BP神经网络的误差反向传播特性,将偏差e1 返回到训练算法中,从而校正自己的权值.NNPID根据误差信号e2 来修正它的网络权值.经过几次学习后,NNPID将逐步跟上系统的变化.但是在BP神经网络中通过试错学习来获得的初始权值,难以获得PID控制器的最优参数.所以Yuan等[22]将粒子群优化算法引入到控制器中,用于对控制器的参数进行优化,使PID具有更好的控制效果,并通过实验证明了改进的神经网络PID控制机器人系统能够快速地跟踪目标,具有很好的稳态精度,克服了传统PID控制方法的不足.

  • RBF神经网络全称为径向基函数(Radical Basis Function)神经网络,是一种三层的前向神经网络模型.径向基函数是对中心点径向对称且衰减的非负线性函数,是一种局部响应函数.RBF神经网络的优点是:结构简单、训练简洁而且能够逼近任意非线性函数; 网络连接权值与输出呈线性关系; 分类能力好且学习过程收敛速度快.缺点是:过分依赖于数据,数据不充分就无法进行工作; 将特征以及推理都转化为数据计算,易造成信息丢失; 样本数据选择困难.目前应用于机器人的RBF神经网络算法大部分与滑模控制[23]和模糊控制[24]算法相结合.

  • 图6 前向BP神经网络PID控制算法结构

  • Fig.6 PID control algorithm structure of forward BP neural network

  • Jung[25]提出一种基于RBF神经网络的滑模控制改进方法,用以处理滑模控制器非线性函数增益选取,以及具体应用的三连杆机械臂的不确定性问题.滑模控制器是一种典型的非线性控制器,非线性函数增益的选择对系统的性能和稳定性起重要的作用,所以选取恰当的增益值能够获得更好的控制效果.Jung[25]提出的基于RBF神经网络的改进方法就是利用神经网络补偿器来帮助滑模控制器选取适当的增益值,能够更智能地处理系统稳定性和性能,通过仿真对比实验,证明神经滑模控制方法相比纯滑模控制方法,系统的性能更好、稳定性更高.

  • 2.2.2 深度强化学习

  • 随着人工智能领域不断深入研究,相应的机器人智能控制方法也得到了快速发展.目前基于深度网络与强化学习相结合的深度强化学习成为了研究的热点之一.深度强化学习就是利用神经网络具有很强的非线性拟合能力和识别任意复杂非线性关系的能力,用神经网络作为agent,获得环境最大的奖励,使整个系统的运行性能达到最佳状态.深度强化学习诞生后,因为其强大的学习与适应能力被广泛地应用于机器人[26-27]、优化控制调度[28-29]、通信[30]、自动驾驶[31-32]、视频游戏[33]等多个领域.

  • 深度强化学习(Deep Q-Learning)的最基本的算法思路来源于Q-Learning,但不同之处在于它的Q值不是直接通过状态值与动作值来计算的,而是通过Q网络即神经网络来计算的,Q网络可以为DNN、CNN或者是RNN.根据强化学习算法可将深度强化学习的算法大致分为3类:基于价值学习的算法、基于策略学习的算法和混合学习算法.深度强化学习算法各有优劣,各算法的总结如表1所示,表中介绍了各算法的改进之处,以及算法的相关文献.因各深度强化学习算法较多且应用范围广泛,下面主要介绍目前应用于机器人控制领域的几个实例.

  • Luo等[40]将深度强化学习控制方法运用到机器人装配任务中,完成了传统控制方法无法实现的任务:将一个刚性桩插入到一个直径较小的可变形孔洞中.该方法不直接对关节扭矩进行控制,而是利用机器人手腕传感器的导纳控制和力与力矩信号.该方法能够使机器人快速学习装配任务,对水平变化具有较好的鲁棒性.当桩柱相对靠近孔洞时,机器人仍具有良好的控制效果.Luo等[40]还提出了未来改进的方向:通过增加一个视觉系统,可以更好地将机器人引导到孔洞附近,增加机器人在初始位置的灵活性.

  • 随着机械加工精密化程度提高,毫米级目标的高精度自动装配技术成为研究重点,传统的精密装配方法太过依赖于实际机器人系统的编程,需要复杂的参数整定工作.Wu等[41]通过对深度强化学习网络的优先级划分,实现了精确插入技能学习的强化学习.该方法通过LSTM神经网络层来近似Dueling DQN框架中的Q函数,通过演示的数据对神经网络进行预训练,之后通过其初始策略与环境进行交互来加速机器人的技能学习,实现了基于瞬时奖赏的插入步长调制.

  • 机器人手臂在进行抓取任务时,常会遇到障碍物,如何控制机器人末端执行器进行避障运动是整个抓取任务的重点.由于机器人的非线性,通常的控制方法常遇到提前收敛或收敛时间过长的情况.为克服机器人运动的收敛问题,保证关节运动的连续性和稳定性,Wen等[39]设计了一种基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的深度学习避障算法.算法主要利用深度神经网络能够识别输入输出的能力将其作为非线性函数,用强化学习训练出策略,设立一种新的奖励来处理有障碍的环境.该算法最终解决了高维状态输入和多返回值的收敛问题,实现了机器人手臂抓取运动的避障.

  • 2.3 优化算法控制

  • 优化控制方法是指设计一个控制系统,在一定的约束条件下能够使给定的被控系统性能指标取得最大或最小值的方法.在实际运行的过程中,给定的约束条件不能包含所有的情况,所以优化控制不能达到完美,难以做到最优控制.在机器人领域中应用的优化控制方法主要采用遗传优化算法[42-43]、基于群体智能的蚁群算法[44]、粒子群算法[45-46]等以及基于万有引力定律和牛顿第二定律的引力搜索算法(Gravitational Search Algorithm,GSA).这些智能算法均具有全局寻优的能力,但每次需求的解可能都不同而且算法运行的时间不同.每个算法都有适用的优化问题,根据各自的算法特点解决机器人控制的不同问题.各优化算法应用优缺点对比如表2所示.

  • 表1 深度强化学习算法总结

  • Table1 Summary of deep reinforcement learning algorithms

  • 表2 优化算法对比

  • Table2 Comparison of optimization algorithms

  • Faieghi等[47]针对工业机器人在实际应用中的不确定性与扰动问题,设计了一种主动滑模控制器,该控制器利用李雅普诺夫函数得出自适应增益,并且采用粒子群优化算法确定最优控制参数,使控制器在不影响系统稳定性的前提下能够到达跟踪的零误差.通过仿真实验证明主动滑模控制器能够在存在未知的外部干扰和系统不确定性情况下实现鲁棒轨迹跟踪.

  • 针对机器人本身的非线性与复杂性使得机器人轨迹跟踪的控制效果降低,传统的工业机器人滑模控制不能满足现有的控制需求的问题,吴方圆等[48]提出了一种基于粒子群优化的神经网络分数阶滑模变结构控制的改进方法.该方法先通过粒子群优化的神经网络识别机器人的模型,训练出最相关的系统控制参数模型,再根据分数阶理论与滑模变结构理论设计控制器,运用到整个机器人的轨迹跟踪控制系统中.该方法通过仿真实验证明,对于系统的稳定性与控制精度方法有良好的改进效果,但是由于仿真只采用简单的折线与圆弧特定的轨迹路径,对于控制方法是否能用于复杂轨迹跟踪还需进一步优化.Aldair等[49]针对n连杆两足步行机器人具有较高的非线性和不确定性参数情况,提出了一种基于蚁群算法的自适应模糊控制器,采用蚁群优化算法对模糊控制器的输出隶属函数进行优化,获取最优的参数,以消除步行机器人在粗糙表面运动时产生的抖振现象.

  • 3 总结与展望

  • 本文阐述了机器人力控制的意义与控制方法的起源与发展,对力控制方法的原理进行简要介绍并列举相关应用实例.本文介绍的机器人力控制策略主要包括传统控制方法与智能控制方法.传统控制方法包括阻抗控制方法、位/力混合控制方法、自适应控制方法.阻抗控制方法主要从力控制与位置控制两个方面进行叙述,根据两者的控制结构图介绍各自的控制原理,并列举近期应用于机器人领域的控制实例.位/力混合控制方法与自适应控制方法根据各自的控制框图介绍其控制流程,总结两种控制方法的优缺点与应用的发展方向.智能控制方法包括模糊逻辑控制方法、神经网络控制方法与优化算法控制方法.智能控制方法主要是对神经网络控制方法进行介绍,主要介绍基于当前经典的神经网络模型的控制方法,包括反向传播(BP)神经网络、径向基(RBF)神经网络、递归神经网络等.对当前最为热门的深度强化学习算法进行介绍总结,梳理各个算法承接顺序,列举深度强化学习算法在机器人控制领域的应用.从上述这些控制方法的应用中不难发现,如今研究者们大力钻研机器人智能控制方法,将人工智能领域的相关算法运用于机器人控制来不断提高机器人自动化与智能化水平,而这也将是未来机器人控制应用的发展趋势所在.

  • 机器人领域的不断拓宽,对机器人的力控制提出了新的要求,尤其是一些特殊的应用场景,要求机器人具有高精度性和高稳定性.对机器人控制要求的增加促进着控制策略的发展.随着控制理论不断深入研究,为适应新的控制要求需要对力控制方法进行不断创新与改进.未来机器人力控制方法可能从以下的三个方向发展:

  • 1)智能控制方法的自我延伸发展.初始的控制算法在应用过程中,通过对理论深入研究,发现问题所在进而对控制算法进行优化改进.例如模糊逻辑控制为提高运行速度和寻优结果,发展多输入多输出系统的模糊控制理论,遗传算法改进编码方式,引入自适应算子,利用混沌理论优化初始种群等.

  • 2)传统的控制算法与智能控制算法相结合,增强传统控制方法的智能化,提高控制效果.例如模糊阻抗算法、模糊PID等.目前算法之间的结合是粗浅的,智能控制算法只是被用来作为传统控制算法的补偿手段,未将智能控制算法的优势发挥出来.未来需考虑如何更加合理地融合算法,让算法之间能够完美地搭配使用.

  • 3)智能算法与智能算法之间的结合.根据智能算法自身的优缺点,利用其他算法来对自身劣势进行弥补,相互结合、扬长避短形成更加智能化的控制方法.例如深度强化学习,将深度学习与强化学习相结合,相互补充.

  • 参考文献

    • [1] Hongan N.Impedance control:an approach to manipulation:part Ⅱ—implementation [J].Journal of Dynamic Systems,Measurement,and Control,1985,107:8-16

    • [2] Raibert M H,Craig J J.Hybrid position/force control of manipulators[J].Journal of Dynamic Systems,Measurement,and Control,1981,103(2):126-133

    • [3] Beretta E,Nessi F,Ferrigno G,et al.Enhanced torque-based impedance control to assist brain targeting during open-skull neurosurgery:a feasibility study[J].The International Journal of Medical Robotics and Computer Assisted Surgery,2016,12(3):326-341

    • [4] 潘冬,李大明,胡成威,等.一种基于位置阻抗的机械臂抓捕飞行器控制方法[J].载人航天,2018,24(3):308-312;PAN Dong,LI Daming,HU Chengwei,et al.A spacecraft capture method with manipulator based on impedance control[J].Manned Spaceflight,2018,24(3):308-312

    • [5] Kitazawa T,Kurisu M,Takemasa S.Impedance control of a mobile robot with dual arms for a tumbling operation[C]//2017 11th Asian Control Conference(ASCC).December 17-20,2017,Gold Coast,QLD.IEEE,2017:25-30

    • [6] Zhu Q D,Xie X R,Li C,et al.Adaptive impedance control method for industrial manipulator writing based on Kalman filter[C]//2018 37th Chinese Control Conference(CCC).July 25-27,2018,Wuhan.IEEE,2018:496-501

    • [7] 姜力,蔡鹤皋,刘宏.基于滑模位置控制的机器人灵巧手模糊自适应阻抗控制[J].控制与决策,2001,16(5):612-616;JIANG Li,CAI Hegao,LIU Hong.Fuzzy adaptive impedance control of dextrous robot hand based on sliding mode position control[J].Control and Decision,2001,16(5):612-616

    • [8] 吴攀峰.六自由度工业机器人的NURBS曲线插补算法的研究 [D].杭州:浙江工业大学,2013;WU Panfeng.The research on NURBS curve interpolation algorithm of six-DOF industrial robot [D].Hangzhou:Zhejiang University of Technology,2013

    • [9] Mendes N,Neto P.Indirect adaptive fuzzy control for industrial robots:a solution for contact applications[J].Expert Systems with Applications,2015,42(22):8929-8935

    • [10] Xu Z H,Zhou X F,Cheng T B,et al.Fuzzy-neural-network based position/force hybrid control for multiple robot manipulators[C]//2017 IEEE International Conference on Cybernetics and Intelligent Systems(CIS)and IEEE Conference on Robotics,Automation and Mechatronics(RAM).November 19-21,2017,Ningbo.IEEE,2017:94-99

    • [11] Tooranjipour P,Vatankhah R,Arefi M M.Prescribed performance adaptive fuzzy dynamic surface control of nonaffine time-varying delayed systems with unknown control directions and dead-zone input[J].International Journal of Adaptive Control and Signal Processing,2019,33(7):1134-1156

    • [12] Pham D T,Nguyen T V,Le H X,et al.Adaptive neural network based dynamic surface control for uncertain dual arm robots[J].International Journal of Dynamics and Control,2019,8:824-834

    • [13] Hu Q L,Xu L,Zhang A H.Adaptive backstepping trajectory tracking control of robot manipulator[J].Journal of the Franklin Institute,2012,349(3):1087-1105

    • [14] Yen V T,Nan W Y,van Cuong P,et al.Robust adaptive sliding mode control for industrial robot manipulator using fuzzy wavelet neural networks[J].International Journal of Control,Automation and Systems,2017,15(6):2930-2941

    • [15] Yen V T,Nan W Y,van Cuong P.Recurrent fuzzy wavelet neural networks based on robust adaptive sliding mode control for industrial robot manipulators[J].Neural Computing and Applications,2019,31(11):6945-6958

    • [16] 于欣波,贺威,薛程谦,等.基于扰动观测器的机器人自适应神经网络跟踪控制研究[J].自动化学报,2019,45(7):1307-1324;YU Xinbo,HE Wei,XUE Chengqian,et al.Disturbance observer-based adaptive neural network tracking control for robots[J].Acta Automatica Sinica,2019,45(7):1307-1324

    • [17] Song L,Wang H Q,Liu P X.Adaptive fuzzy dynamic surface control of flexible-joint robot systems with input saturation[J].CAA Journal of Automatica Sinica,2019,6(1):97-107

    • [18] Guo S X,Chen Q R,Xiao N,et al.A fuzzy PID control algorithm for the interventional surgical robot with guide wire feedback force[C]//2016 IEEE International Conference on Mechatronics and Automation.August 7-10,2016,Harbin,Heilongjiang,China.IEEE,2016:426-430

    • [19] Zhao J,Han L,Wang L,et al.The fuzzy PID control optimized by genetic algorithm for trajectory tracking of robot arm[C]//2016 12th World Congress on Intelligent Control and Automation(WCICA).June 12-15,2016,Guilin,China.IEEE,2016:556-559

    • [20] Adeli M,Mazinan A H.High efficiency fault-detection and fault-tolerant control approach in Tennessee Eastman process via fuzzy-based neural network representation[J].Complex & Intelligent Systems,2020,6(1):199-212

    • [21] Lü M L,Baldi S,Liu Z C.The non-smoothness problem in disturbance observer design:a set-invariance-based adaptive fuzzy control method[J].IEEE Transactions on Fuzzy Systems,2019,27(3):598-604

    • [22] Yuan J,Wang R,Jiang L.Research on neural network PID adaptive control with industrial welding robot in multi-degree of freedom[C]//2016 IEEE Information Technology,Networking,Electronic and Automation Control Conference.May 20-22,2016,Chongqing,China.IEEE,2016:280-284

    • [23] Wang F,Chao Z Q,Huang L B,et al.Trajectory tracking control of robot manipulator based on RBF neural network and fuzzy sliding mode[J].Cluster Computing,2019,22(sup3):5799-5809

    • [24] Ruchika,Kumar N.Finite time control scheme for robot manipulators using fast terminal sliding mode control and RBFNN[J].International Journal of Dynamics and Control,2019,7(2):758-766

    • [25] Jung S.Improvement of tracking control of a sliding mode controller for robot manipulators by a neural network[J].International Journal of Control,Automation and Systems,2018,16(2):937-943

    • [26] Cuayahuitl H,Lee D,Ryu S,et al.Deep reinforcement learning for chatbots using clustered actions and human-likeness rewards[C]//2019 International Joint Conference on Neural Networks(IJCNN).July 14-19,2019,Budapest,Hungary.IEEE,2019:1-8

    • [27] Passalis N,Tefas A.Continuous drone control using deep reinforcement learning for frontal view person shooting[J].Neural Computing and Applications,2020,32(9):4227-4238

    • [28] Murad A,Kraemer F A,Bach K,et al.Autonomous management of energy-harvesting IoT nodes using deep reinforcement learning[C]//2019 IEEE 13th International Conference on Self-Adaptive and Self-Organizing Systems(SASO).June 16-20,2019,Umea,Sweden.IEEE,2019:43-51

    • [29] Zhang L,Jia J D,Gui G,et al.Deep learning based improved classification system for designing tomato harvesting robot[J].IEEE Access,2018,6:67940-67950

    • [30] Doan K N,Vaezi M,Shin W,et al.Power allocation in cache-aided NOMA systems:optimization and deep reinforcement learning approaches[J].IEEE Transactions on Communications,2020,68(1):630-644

    • [31] Trasnea B,Marina L A,Vasilcoi A,et al.GridSim:a vehicle kinematics engine for deep neuroevolutionary control in autonomous driving[C]//2019 Third IEEE International Conference on Robotic Computing(IRC).February 25-27,2019,Naples,Italy.IEEE,2019:443-444

    • [32] 江其洲,曾碧.基于深度强化学习的移动机器人导航策略研究[J].计算机测量与控制,2019,27(8):217-221;JIANG Qizhou,ZENG Bi.Research on navigation strategy of mobile robot based on deep reinforcement learning [J].Computer Measurement & Control,2019,27(8):217-221

    • [33] Nguyen N D,Nguyen T,Nahavandi S,et al.Manipulating soft tissues by deep reinforcement learning for autonomous robotic surgery[C]//2019 IEEE International Systems Conference(SysCon).April 8-11,2019,Orlando,FL,USA.IEEE,2019.DOI:10.1109/SYSCON.2019.8836924

    • [34] van Hasselt H,Guez A,Silver D,et al.Deep reinforcement learning with double Q-learning[J].arXiv,2015,arXiv:1509.06461

    • [35] Horgan D,Quan J,Budden D,et al.Distributed prioritized experience replay[J].arXiv,2018,arXiv:1803.00933

    • [36] Wang Z Y,Schaul T,Hessel M,et al.Dueling network architectures for deep reinforcement learning[J].arXiv,2015,arXiv:1511.06581

    • [37] Sutton R S,McAllester D,Singh S,et al.Policy gradient methods for reinforcement learning with function approximation[C]//Advances in Neural Information Processing Systems,1999:1057-1063

    • [38] Mnih V,Badia A P,Mirza M,et al.Asynchronous methods for deep reinforcement learning[J].arXiv,2016:arXiv:1602.01783

    • [39] Wen S H,Chen J H,Wang S,et al.Path planning of humanoid arm based on deep deterministic policy gradient[C]//2018 IEEE International Conference on Robotics and Biomimetics(ROBIO).December 12-15,2018,Kuala Lumpur,Malaysia.IEEE,2018:1755-1760

    • [40] Luo J L,Solowjow E,Wen C T,et al.Deep reinforcement learning for robotic assembly of mixed deformable and rigid objects[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).October 1-5,2018,Madrid.IEEE,2018.DOI:10.1109/IROS.2018.8594353

    • [41] Wu X P,Zhang D P,Qin F B,et al.Deep reinforcement learning of robotic precision insertion skill accelerated by demonstrations[C]//2019 IEEE 15th International Conference on Automation Science and Engineering(CASE).August 22-26,2019,Vancouver,BC,Canada.IEEE,2019:1651-1656

    • [42] Yoo J W,Ronzio F,Courtois T.Road noise reduction of a sport utility vehicle via panel shape and damper optimization on the floor using genetic algorithm[J].International Journal of Automotive Technology,2019,20(5):1043-1050

    • [43] Panchu K P,Rajmohan M,Sumalatha M R,et al.Route planning integrated multi objective task allocation for reconfigurable robot teams using genetic algorithm[J].Journal of Computational and Theoretical Nanoscience,2018,15(2):627-636

    • [44] Yue L W,Chen H N.Unmanned vehicle path planning using a novel ant colony algorithm[J].EURASIP Journal on Wireless Communications and Networking,2019,2019:136

    • [45] Zarrouk R,Bennour I E,Jemai A.A two-level particle swarm optimization algorithm for the flexible job shop scheduling problem[J].Swarm Intelligence,2019,13(2):145-168

    • [46] Xu Z Y,Du L,Wang H P,et al.Particle swarm optimization-based algorithm of a symplectic method for robotic dynamics and control[J].Applied Mathematics and Mechanics,2019,40(1):111-126

    • [47] Faieghi M R,Delavari H,Baleanu D.A novel adaptive controller for two-degree of freedom polar robot with unknown perturbations[J].Communications in Nonlinear Science and Numerical Simulation,2012,17(2):1021-1030

    • [48] 吴方圆,姚江云.粒子群神经网络辨识的机器人分数阶滑模控制[J].电子测量技术,2019,42(9):10-13;WU Fangyuan,YAO Jiangyun.Fractional order sliding mode control of industrial robot based on particle swarm optimization neural network [J].Electronic Measurement Technology,2019,42(9):10-13

    • [49] Aldair A A,Rashid A T,Rashid M T,et al.Adaptive fuzzy control applied to seven-link biped robot using ant colony optimization algorithm[J].Iranian Journal of Science and Technology,Transactions of Electrical Engineering,2019,43(4):797-811

  • 参考文献

    • [1] Hongan N.Impedance control:an approach to manipulation:part Ⅱ—implementation [J].Journal of Dynamic Systems,Measurement,and Control,1985,107:8-16

    • [2] Raibert M H,Craig J J.Hybrid position/force control of manipulators[J].Journal of Dynamic Systems,Measurement,and Control,1981,103(2):126-133

    • [3] Beretta E,Nessi F,Ferrigno G,et al.Enhanced torque-based impedance control to assist brain targeting during open-skull neurosurgery:a feasibility study[J].The International Journal of Medical Robotics and Computer Assisted Surgery,2016,12(3):326-341

    • [4] 潘冬,李大明,胡成威,等.一种基于位置阻抗的机械臂抓捕飞行器控制方法[J].载人航天,2018,24(3):308-312;PAN Dong,LI Daming,HU Chengwei,et al.A spacecraft capture method with manipulator based on impedance control[J].Manned Spaceflight,2018,24(3):308-312

    • [5] Kitazawa T,Kurisu M,Takemasa S.Impedance control of a mobile robot with dual arms for a tumbling operation[C]//2017 11th Asian Control Conference(ASCC).December 17-20,2017,Gold Coast,QLD.IEEE,2017:25-30

    • [6] Zhu Q D,Xie X R,Li C,et al.Adaptive impedance control method for industrial manipulator writing based on Kalman filter[C]//2018 37th Chinese Control Conference(CCC).July 25-27,2018,Wuhan.IEEE,2018:496-501

    • [7] 姜力,蔡鹤皋,刘宏.基于滑模位置控制的机器人灵巧手模糊自适应阻抗控制[J].控制与决策,2001,16(5):612-616;JIANG Li,CAI Hegao,LIU Hong.Fuzzy adaptive impedance control of dextrous robot hand based on sliding mode position control[J].Control and Decision,2001,16(5):612-616

    • [8] 吴攀峰.六自由度工业机器人的NURBS曲线插补算法的研究 [D].杭州:浙江工业大学,2013;WU Panfeng.The research on NURBS curve interpolation algorithm of six-DOF industrial robot [D].Hangzhou:Zhejiang University of Technology,2013

    • [9] Mendes N,Neto P.Indirect adaptive fuzzy control for industrial robots:a solution for contact applications[J].Expert Systems with Applications,2015,42(22):8929-8935

    • [10] Xu Z H,Zhou X F,Cheng T B,et al.Fuzzy-neural-network based position/force hybrid control for multiple robot manipulators[C]//2017 IEEE International Conference on Cybernetics and Intelligent Systems(CIS)and IEEE Conference on Robotics,Automation and Mechatronics(RAM).November 19-21,2017,Ningbo.IEEE,2017:94-99

    • [11] Tooranjipour P,Vatankhah R,Arefi M M.Prescribed performance adaptive fuzzy dynamic surface control of nonaffine time-varying delayed systems with unknown control directions and dead-zone input[J].International Journal of Adaptive Control and Signal Processing,2019,33(7):1134-1156

    • [12] Pham D T,Nguyen T V,Le H X,et al.Adaptive neural network based dynamic surface control for uncertain dual arm robots[J].International Journal of Dynamics and Control,2019,8:824-834

    • [13] Hu Q L,Xu L,Zhang A H.Adaptive backstepping trajectory tracking control of robot manipulator[J].Journal of the Franklin Institute,2012,349(3):1087-1105

    • [14] Yen V T,Nan W Y,van Cuong P,et al.Robust adaptive sliding mode control for industrial robot manipulator using fuzzy wavelet neural networks[J].International Journal of Control,Automation and Systems,2017,15(6):2930-2941

    • [15] Yen V T,Nan W Y,van Cuong P.Recurrent fuzzy wavelet neural networks based on robust adaptive sliding mode control for industrial robot manipulators[J].Neural Computing and Applications,2019,31(11):6945-6958

    • [16] 于欣波,贺威,薛程谦,等.基于扰动观测器的机器人自适应神经网络跟踪控制研究[J].自动化学报,2019,45(7):1307-1324;YU Xinbo,HE Wei,XUE Chengqian,et al.Disturbance observer-based adaptive neural network tracking control for robots[J].Acta Automatica Sinica,2019,45(7):1307-1324

    • [17] Song L,Wang H Q,Liu P X.Adaptive fuzzy dynamic surface control of flexible-joint robot systems with input saturation[J].CAA Journal of Automatica Sinica,2019,6(1):97-107

    • [18] Guo S X,Chen Q R,Xiao N,et al.A fuzzy PID control algorithm for the interventional surgical robot with guide wire feedback force[C]//2016 IEEE International Conference on Mechatronics and Automation.August 7-10,2016,Harbin,Heilongjiang,China.IEEE,2016:426-430

    • [19] Zhao J,Han L,Wang L,et al.The fuzzy PID control optimized by genetic algorithm for trajectory tracking of robot arm[C]//2016 12th World Congress on Intelligent Control and Automation(WCICA).June 12-15,2016,Guilin,China.IEEE,2016:556-559

    • [20] Adeli M,Mazinan A H.High efficiency fault-detection and fault-tolerant control approach in Tennessee Eastman process via fuzzy-based neural network representation[J].Complex & Intelligent Systems,2020,6(1):199-212

    • [21] Lü M L,Baldi S,Liu Z C.The non-smoothness problem in disturbance observer design:a set-invariance-based adaptive fuzzy control method[J].IEEE Transactions on Fuzzy Systems,2019,27(3):598-604

    • [22] Yuan J,Wang R,Jiang L.Research on neural network PID adaptive control with industrial welding robot in multi-degree of freedom[C]//2016 IEEE Information Technology,Networking,Electronic and Automation Control Conference.May 20-22,2016,Chongqing,China.IEEE,2016:280-284

    • [23] Wang F,Chao Z Q,Huang L B,et al.Trajectory tracking control of robot manipulator based on RBF neural network and fuzzy sliding mode[J].Cluster Computing,2019,22(sup3):5799-5809

    • [24] Ruchika,Kumar N.Finite time control scheme for robot manipulators using fast terminal sliding mode control and RBFNN[J].International Journal of Dynamics and Control,2019,7(2):758-766

    • [25] Jung S.Improvement of tracking control of a sliding mode controller for robot manipulators by a neural network[J].International Journal of Control,Automation and Systems,2018,16(2):937-943

    • [26] Cuayahuitl H,Lee D,Ryu S,et al.Deep reinforcement learning for chatbots using clustered actions and human-likeness rewards[C]//2019 International Joint Conference on Neural Networks(IJCNN).July 14-19,2019,Budapest,Hungary.IEEE,2019:1-8

    • [27] Passalis N,Tefas A.Continuous drone control using deep reinforcement learning for frontal view person shooting[J].Neural Computing and Applications,2020,32(9):4227-4238

    • [28] Murad A,Kraemer F A,Bach K,et al.Autonomous management of energy-harvesting IoT nodes using deep reinforcement learning[C]//2019 IEEE 13th International Conference on Self-Adaptive and Self-Organizing Systems(SASO).June 16-20,2019,Umea,Sweden.IEEE,2019:43-51

    • [29] Zhang L,Jia J D,Gui G,et al.Deep learning based improved classification system for designing tomato harvesting robot[J].IEEE Access,2018,6:67940-67950

    • [30] Doan K N,Vaezi M,Shin W,et al.Power allocation in cache-aided NOMA systems:optimization and deep reinforcement learning approaches[J].IEEE Transactions on Communications,2020,68(1):630-644

    • [31] Trasnea B,Marina L A,Vasilcoi A,et al.GridSim:a vehicle kinematics engine for deep neuroevolutionary control in autonomous driving[C]//2019 Third IEEE International Conference on Robotic Computing(IRC).February 25-27,2019,Naples,Italy.IEEE,2019:443-444

    • [32] 江其洲,曾碧.基于深度强化学习的移动机器人导航策略研究[J].计算机测量与控制,2019,27(8):217-221;JIANG Qizhou,ZENG Bi.Research on navigation strategy of mobile robot based on deep reinforcement learning [J].Computer Measurement & Control,2019,27(8):217-221

    • [33] Nguyen N D,Nguyen T,Nahavandi S,et al.Manipulating soft tissues by deep reinforcement learning for autonomous robotic surgery[C]//2019 IEEE International Systems Conference(SysCon).April 8-11,2019,Orlando,FL,USA.IEEE,2019.DOI:10.1109/SYSCON.2019.8836924

    • [34] van Hasselt H,Guez A,Silver D,et al.Deep reinforcement learning with double Q-learning[J].arXiv,2015,arXiv:1509.06461

    • [35] Horgan D,Quan J,Budden D,et al.Distributed prioritized experience replay[J].arXiv,2018,arXiv:1803.00933

    • [36] Wang Z Y,Schaul T,Hessel M,et al.Dueling network architectures for deep reinforcement learning[J].arXiv,2015,arXiv:1511.06581

    • [37] Sutton R S,McAllester D,Singh S,et al.Policy gradient methods for reinforcement learning with function approximation[C]//Advances in Neural Information Processing Systems,1999:1057-1063

    • [38] Mnih V,Badia A P,Mirza M,et al.Asynchronous methods for deep reinforcement learning[J].arXiv,2016:arXiv:1602.01783

    • [39] Wen S H,Chen J H,Wang S,et al.Path planning of humanoid arm based on deep deterministic policy gradient[C]//2018 IEEE International Conference on Robotics and Biomimetics(ROBIO).December 12-15,2018,Kuala Lumpur,Malaysia.IEEE,2018:1755-1760

    • [40] Luo J L,Solowjow E,Wen C T,et al.Deep reinforcement learning for robotic assembly of mixed deformable and rigid objects[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).October 1-5,2018,Madrid.IEEE,2018.DOI:10.1109/IROS.2018.8594353

    • [41] Wu X P,Zhang D P,Qin F B,et al.Deep reinforcement learning of robotic precision insertion skill accelerated by demonstrations[C]//2019 IEEE 15th International Conference on Automation Science and Engineering(CASE).August 22-26,2019,Vancouver,BC,Canada.IEEE,2019:1651-1656

    • [42] Yoo J W,Ronzio F,Courtois T.Road noise reduction of a sport utility vehicle via panel shape and damper optimization on the floor using genetic algorithm[J].International Journal of Automotive Technology,2019,20(5):1043-1050

    • [43] Panchu K P,Rajmohan M,Sumalatha M R,et al.Route planning integrated multi objective task allocation for reconfigurable robot teams using genetic algorithm[J].Journal of Computational and Theoretical Nanoscience,2018,15(2):627-636

    • [44] Yue L W,Chen H N.Unmanned vehicle path planning using a novel ant colony algorithm[J].EURASIP Journal on Wireless Communications and Networking,2019,2019:136

    • [45] Zarrouk R,Bennour I E,Jemai A.A two-level particle swarm optimization algorithm for the flexible job shop scheduling problem[J].Swarm Intelligence,2019,13(2):145-168

    • [46] Xu Z Y,Du L,Wang H P,et al.Particle swarm optimization-based algorithm of a symplectic method for robotic dynamics and control[J].Applied Mathematics and Mechanics,2019,40(1):111-126

    • [47] Faieghi M R,Delavari H,Baleanu D.A novel adaptive controller for two-degree of freedom polar robot with unknown perturbations[J].Communications in Nonlinear Science and Numerical Simulation,2012,17(2):1021-1030

    • [48] 吴方圆,姚江云.粒子群神经网络辨识的机器人分数阶滑模控制[J].电子测量技术,2019,42(9):10-13;WU Fangyuan,YAO Jiangyun.Fractional order sliding mode control of industrial robot based on particle swarm optimization neural network [J].Electronic Measurement Technology,2019,42(9):10-13

    • [49] Aldair A A,Rashid A T,Rashid M T,et al.Adaptive fuzzy control applied to seven-link biped robot using ant colony optimization algorithm[J].Iranian Journal of Science and Technology,Transactions of Electrical Engineering,2019,43(4):797-811

  • 地址:江苏省南京市宁六路219号    邮编:210044

    联系电话:025-58731025    E-mail:nxdxb@nuist.edu.cn

    南京信息工程大学学报 ® 2024 版权所有  技术支持:北京勤云科技发展有限公司