-
0 引言
-
同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）技术最早起源于机器人领域[1].SLAM的问题可以阐述为：将一个机器人放入未知环境中的未知位置，使得机器人可以同时估计自身状态和生成环境地图，进而实现机器人在移动过程中的自主感知与定位.
-
自Smith等[1]在1986年首先提出SLAM的概念之后，SLAM技术得到了快速发展.2006年，Durrant-Whyte团队发表了两篇关于SLAM所面临问题的综述文章，第一篇可以看成简单的入门教程[2]，而第二篇则是当时较新的方法简介[3].2008年，Aulinas等[4]对基于滤波方法的SLAM进行了讨论，并阐述了滤波方法的实用性与优缺点.Strasdat等分别在2010年与2012年对“基于滤波”[5]与“基于优化”[6]的SLAM进行了比较，在此之后，基于优化的方法逐渐成为主流.Dissanayake等[7]和Huang等[8]阐述了现代SLAM中的“可观性”、“一致性”、“收敛性”以及计算效率和复杂度.2016年，Saeedi等[9]描述了各种算法的动机以及优缺点，还介绍了多机器人应用较多的场景.
-
学者们从不同角度对多机器人SLAM的研究做出了总结.卫恒等[10]从多机器人后端出发，分析了多机器人SLAM后端优化算法的数据处理方式，同时指出多机器人SLAM后端优化算法的未来发展趋势，即后端优化算法逐步由基于滤波理论优化向基于图像、深度学习优化转变.阴贺生等[11]对基于视觉SLAM的多机器人技术进行了详细介绍，阐述了多机器人SLAM协作建图方法，并提出了需要解决的鲁棒性、自适应协作建图、快速准确的SLAM轨迹生成等问题.苗国英等[12]针对多智能体系统的协调控制问题，提出未来多智能体系统研究过程中需要解决动态网络下的建模以及多智能体实时通信的问题.胡凯等[13]提出一种基于滑膜变结构控制的多机器人协同编队控制方法，阐述了滑膜变结构、起源及存在的问题.同时，将该方法与神经网络控制、鲁棒自适应控制等控制技术相结合，反映了多机器人协同控制的应用现状，并对多机器人协同控制方法进行总结.刘佳等[14]阐述了关于多机器人系统协同控制一致性问题的研究进展，并介绍了多智能体协同控制的应用领域.裴凌等[15]从传感器观测模型、环境场景模型、载体运动行为模型等方面出发，并从滤波、优化两方面综述了多源融合定位算法.Dorigo等[16]介绍了集群机器人的起源与分布式机器人技术的发展现状，并确定了目前集群机器人最有前途的研究方向，包括在未来发展的过程中需要针对性突破的一些技术.
-
基于多机器人的SLAM综述较多，但未能详细介绍多机器人SLAM架构类型与数据融合以及多机器人SLAM与语义信息之间的联系.本文首先使用Citespace对Web of Science以及中国知网中现有的SLAM论文进行聚类、热点分析，并介绍了SLAM中较常用的数据集.其次枚举了优秀的多机器人SLAM框架，并将多机器人SLAM与语义信息结合起来，根据生成语义的方式分成监督算法、无监督算法与半监督算法3类.最后对多机器人VSLAM（视觉SLAM）的发展进行了总结与展望.
-
本文具体结构如下：第1节回顾了SLAM发展历程；第2节介绍了现代VSLAM的具体框架，并列举了部分优秀的VSLAM算法；第3节对多机器人VSLAM的架构类型和融合方式分类，并结合语义介绍了多机器人语义SLAM；第4节为总结，并对未来多机器人SLAM的发展进行了展望.
-
1 相关工作
-
1.1 基于CiteSpace的SLAM发展分析
-
自SLAM问世以来，发展至今已有几十年的历史，并被广泛应用在机器人领域.如图1所示，以SLAM为关键词在Web of Science中检索到自1980年以来发表了8 261篇论文，在中国知网检索到从1980年至今收录了2 856篇论文.其中，蓝色曲线是SLAM论文一年内的发表数量，数据对应着左侧坐标轴，红色线条是年累计发文量的拟合曲线，根据拟合曲线的函数表达式可以近似计算出下一年总发文量.
-
图1 历年来SLAM出版论文数量分布
-
Fig.1 Number of published papers on SLAM in Web of Science and CNKI over the years
-
以SLAM为关键词检索了中国知网中2 856篇SLAM论文，并在CiteSpace中进行分析，SLAM的热门词汇聚类如图2所示.图中圆圈代表SLAM中的各类研究方向，包括多机器人SLAM、数据融合SLAM、激光SLAM等，圆圈越大，代表该方向的论文越多，色卡中的颜色对应着论文中的发表年份.由图2可以直观地看出SLAM的热点方向以及SLAM相关研究算法，多机器人、地图融合、图优化等方向是学者们的研究重心.
-
图3是以SLAM为关键词在中国知网检索的关键词聚类.根据关键词出现的频率将2 856篇论文分成11个聚类区域，并以不同颜色区分.同一聚类区域点的多少代表该聚类的论文数量多少，而聚类面积的大小则代表该区域涉及研究分支的多少.可以看出目前较为前沿的研究方向是数据融合、粒子滤波、多机器人等.
-
以SLAM为关键词在中国知网与Web of Science中分别检索，使用CiteSpace分析检索所得论文的发表单位，聚类结果如图4所示.图中圆圈、字号的大小表示该单位发表论文量的多少.圆圈内的圆环代表发表年份，越靠近圆心年份越久远，越远离圆心则年份越近.圆圈与圆圈之间的连线代表着两个单位有着一定的学术交流.
-
1.2 SLAM数据集
-
近几十年来，陆续涌现出大量优秀的SLAM算法，它们都可以成熟运行在自主导航、移动机器人等领域.每个算法都有各自的实施方案，它们所花费的时间、拥有的性能也不尽相同.数据集是评测各类算法优劣的标准.
-
图2 移动机器人领域热门词汇
-
Fig.2 Hot words in field of mobile robot
-
图3 关键词聚类
-
Fig.3 Keyword clustering
-
现有的数据集，如KITTI是较为经典的自动驾驶数据集，也是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集.通过它的评测，众多SLAM算法可以进行鲁棒性、准确度等性能的对比.表1列出了目前SLAM研究中常见的几种数据集，并列出数据集的相关信息与链接供读者参考.表中Y表示数据集中有惯性测量单元（Inertial Measurement Unit，IMU），N表示无IMU.
-
图4 SLAM研究热门实验室
-
Fig.4 Universities and establishments engaged in SLAM research
-
2 传统VSLAM框架与常见的VSLAM
-
2.1 传统VSLAM框架
-
传统视觉SLAM（VSLAM）的框架分为以下5个步骤，VSLAM运行流程如图5所示.
-
1）传感器信息读取：该阶段为SLAM算法的前端，主要用来搜集环境信息.在视觉SLAM中前端信息主要为相机图像信息的读取和预处理.而在机器人中，通常还会有惯性里程计、激光测距仪等信息的同步与读取任务.
-
2）前端视觉里程计:主要用来研究帧间变换关系以完成实时的位姿跟踪.前端视觉里程计根据相邻的图像信息估计粗略的相机运动，给后端提供较好的初始值.视觉里程计最早源自车轮里程计，它可以做到不受车轮打滑刹车之类的外界因素的干扰，并提供更精准的轨迹估计.
-
3）后端（非线性）优化：后端主要是用来接收不同视觉里程计测量的相机位姿以及回环检测信息，同时对这些信息进行全局优化，最终得到全局一致的轨迹和地图.早期后端优化的方法更多采用的是传统的EKF（扩展卡尔曼滤波器）、UKF（无迹卡尔曼滤波器）、改进的MSCKF（多状态约束卡尔曼滤波器）和OpenVins等，现阶段基于BA（光速法平差）优化的方法逐渐占据了主流.
-
4）回环检测：又称闭环检测，它用来判断机器人是否到达先前位置.机器人在检测到回环之后，就会把信息提供给后端进行处理.
-
5）建图：机器人通过之前估计的轨迹，建立与任务要求对应的地图.
-
图5 VSLAM的常规流程
-
Fig.5 General flow of VSLAM
-
2.2 视觉传感器
-
20 世纪70年代，学者们开始畅想并研究无人驾驶与室内自身定位与建图，使用视觉传感器拍摄大段视频数据进行有效分析.1986年，在旧金山召开的IEEE机器人与自动化会议上提出视觉SLAM概念后，VSLAM得到了许多研究人员的关注.
-
由于多发射模组的激光雷达成本过高，导致车辆成本激增，而视觉传感器作为性价比更高的替代品引起了越来越多无人驾驶厂商的注意.德国的博世、大陆，韩国的LG等是视觉传感器的主要供应商.美国的Robotics与Zebra也成立了单独的部门布局视觉传感器业务.1984年成立的舜宇光学科技（集团）有限公司与1987年成立的大立光电股份有限公司（中国台湾）占据着中国大部分视觉传感器市场.纯视觉无人驾驶领域最具有代表性的公司就是特斯拉，它的无人驾驶系统不需要使用高精地图与Vehicle to Everything（V2X），就可以实现Autopilot自动辅助驾驶.众所周知，纯视觉的无人驾驶需要大量的驾驶数据进行训练，世界各国公路上行驶的特斯拉汽车可以提供大量的驾驶数据，这些数据都可以被用来训练特斯拉的纯视觉无人驾驶系统.纯视觉SLAM作为早期无人驾驶的主要方向，也被众多中国车企所采用，比较著名的有百度与威马汽车合作的纯视觉L4级方案Apollo Lite、小鹏的P7等.但这类视觉算法需要搭配高精地图与V2X，才能达到与纯激光传感器相同的自动驾驶效果.图6展示了特斯拉Model3搭配8个摄像头在路面行驶的状况，表2罗列了常见的几款搭载无人驾驶系统的汽车中搭载的传感器数量.
-
表2中几款无人驾驶汽车都配备较多摄像头.相对于激光雷达，纯视觉无人驾驶的使用更接近于人类自身驾驶模式.按照工作方式的不同可以将视觉SLAM传感器分为单目相机、双目相机、RGB-D相机、事件相机4大类.单目相机顾名思义只有一个相机，它通过物体在图像中的运动轨迹形成的视差来判断物体的远近，但在不知深度的情况下会产生视觉误差.双目相机的原理与人眼类似，通过图像视差采用三角测量原理计算获得场景的深度信息，进而重建周围环境的三维形状与位置.RGB-D相机又称为3D相机，其中D（Depth）表示深度信息.深度相机常应用在以下场景：三维重建、目标定位、物体识别.目前主流的深度相机有结构光、时间飞行法、双目立体3种类型.事件相机诞生于1990年，第一款商用的事件相机诞生于2008年.目前，许多商业公司致力于事件相机的发展，如韩国Samsung、法国Prophesee、瑞士iniVation、中国CelePixel（芯仑科技）等.事件相机主要应用于特征提取与跟踪、光流、三维重建、SLAM等场景.表3是常见的几种类型相机.
-
2.3 常见VSLAM与VSLAM算法汇总
-
VSLAM可以从环境中获取海量、富于冗余的纹理信息，同时还拥有超强的场景辨识能力.早期SLAM基于滤波理论，但因计算量巨大、误差较多导致其无法正常使用，而VSLAM可以利用丰富的纹理信息[17]，如对于尺寸相同内容不同的广告牌，基于点云的激光SLAM算法无法区分，而VSLAM却可以轻易分辨.VSLAM算法在重定位[18]、场景分类上具有无可比拟的巨大优势.近年来，伴随着具有稀疏性的非线性优化理论以及相机技术、计算性能的进步，VSLAM已经可以实时运行在机器人中.以视觉传感器的种类为依据，本文将VSLAM划分为单目、双目、RGB-D 3种形式.
-
单目VSLAM发展较早，因其仅使用一个摄像头便可以运行SLAM，得到众多研究人员的青睐，如Mono SLAM[19]、PTAM[20]、DTAM[21].2007年发表的PTAM[20]是VSLAM中一个里程碑式的SLAM算法，它率先将非线性系统应用在SLAM中，并首次将VSLAM的前端、后端区分开来.PTAM在开源后被广大研究人员所使用，SVO[22]、ORB-SLAM[23]等都以它为基础进行拓展.ORB-SLAM作为一个极具标志性的VSLAM，它的提出者Mur-Artal等还相继提出了ORB-SLAM2[24]、ORB-SLAM3[25].其中，ORB-SLAM2不仅可以搭载单目、双目、RGB-D相机进行实时地图重建，同时还能在保证高定位精度的前提下实时运行在手机、无人机、汽车的GPU上.可以说ORB-SLAM2是特征点法的巅峰之作.
-
图6 特斯拉Model3在路面上的行驶状态（图片来源：https://zhuanlan.zhihu.com/p/21454575）
-
Fig.6 Driving states of Tesla Model3 on road
-
VSLAM的前端主要有特征点法、直接法两种形式.特征点法的优点在于它可以准确确定位置并对图像进行有效处理，如ORB-SLAM[23]、ORB-SLAM2[24]、S-PTAM[26]、DVO-SLAM[27]等.而直接法可以直接对图像进行数据处理，能够改善特征点法在提取耗时、特征缺失状态下无法正常使用的问题，如DTAM[21]、LSD-SLAM[28]、DSO[29]、双目DSO[30]等.同样在以RGB-D相机为主要传感器的VSLAM中，更多会采用特征点法下的ICP（Iterative Closest Point，最近点迭代算法）进行相机运动估计.如KinectFusion[31]、Kintinuous[32]、ElasticFusion[33].表4展示了目前已开源的VSLAM算法供读者参考.
-
VSLAM发展至今的几十年中涌现出许多成熟的SLAM算法，包括常见的扩展卡尔曼滤波、梯度下降法、线性优化等.本文将SLAM算法分为滤波算法和优化算法两大类，如图7所示.
-
3 多机器人SLAM
-
随着移动机器人技术的不断发展，单机器人已经很难通过自身完成较为复杂繁琐的工作任务，多机器人协同作业的工作模式成为研究热点.相对于单机器人来说，多机器人组成的系统具有一定的优越性，如对环境有更强的适应能力、更强的承载力、更好的鲁棒性，整个系统制造成本更低、工作效率更高.这些优点也是多机器人SLAM[34]提高工作效率的关键所在.本文从多机器人SLAM的架构类型、多机器人SLAM的融合算法以及多机器人SLAM与语义信息的融合等方面来介绍多机器人SLAM.
-
3.1 多机器人SLAM架构
-
本文将多机器人SLAM分为3种架构形式：集中式、分布式、混合式.
-
3.1.1 集中式
-
集中式架构顾名思义就是机器人编队负责数据搜集，在完成数据搜集之后由某一个机器人或中央处理器进行整体计算.中央处理器处理完所有机器人得到的数据后，再将得到的数据传输回去.数据传输对集中式机器人系统的带宽提出了更高要求，良好的带宽才能将数据稳定、准确地传输到指定位置.集中式架构的优势在于代理机器人数量少、结构设计简单、资源可以灵活调用、数据集中存储与处理、系统响应快、数据可靠性强且一致性好.但缺点也十分明显，系统最基本的通信与控制无法随着机器人数量的增加而增加.因此集中式架构对系统的带宽与工作环境要求较高.同时，因为集中式架构十分依赖中央“指挥官”，因此对失去中央“指挥官”十分敏感，实时性、动态性、鲁棒性较差.
-
图7 SLAM算法汇总
-
Fig.7 Summary of SLAM algorithms
-
集中式是多机器人发展初期提出的架构类型.20世纪80年代末出现分布式机器人系统后，Cohen[35]于 1996年首次提出使用集中式系统方法来运行未知环境的地图绘制，以提供更强的鲁棒性与高效性.1998年，Khoshnevis等[36]论述了集中式的发展思路与优点，提出以集中化控制实现低成本代理、低功率需求、高扩展性的系统.2002年，Fenwick等[37]首次将CML算法从单车迁移到多车上，创新性地通过计算协作最低算法性能界限来确定完成任务所需最小协作车辆的数量.2008年，Tao等[38]将EKF（扩展卡尔曼滤波）算法拓展到多机器人中用以估计系统中每个机器人位置与地标位置，并在考虑其他机器人构型的前提下，计算机器人的终点位置.由最终的数据集试验可以看出，对于稀疏与稠密地标环境，该算法都有很好的效果.2015年，Mohanarajah等[39]提出一种在云端服务器上使用低成本机器人进行三维映射的解决方法，很好地解决了集中式对服务器要求过高、成本过高的问题，即在智能手机级的处理器上也能运行并处理密集视觉里程算法.2018年，Karrer等 [40]提出CVI-SLAM，该算法基于关键帧实现协作SLAM，它采用装配视觉惯性传感器且机载计算能力受约束的代理机器人，通过代理与服务器之间的双向通信，提高了协同场景间的估计准确性.2019年，Schmuck等[41]提出了CCM-SLAM，相对于CVI-SLAM，该系统仅配备一个单目相机与一个通信单元，但建图效率有着显著提升.2021年，Jang等[42]提出了协作单目SLAM的完整框架.该SLAM框架采用集中式架构，使用基于特征的前端方式，通过MF模块将观察者与被观察者机器人的局部地图合并，运行快速、准确、稳定的交汇地图融合系统.图8为集中式架构，图中不同颜色表示不同模块.
-
集中式架构对应的数据融合方式是集中式融合，即所有测量数据都会送到一个中心进行融合估计，这也被称为中心融合或测量融合.集中式融合方式通过融合中心对各个传感器的目标状态估计值进行融合，得到数据的综合体.集中式融合类型类似于早期融合，通过将所有原始关键帧图像与基于点的地图共同存储在云中，再对图像信息进行数据融合.该融合方式可以实现实时的数据融合，对数据处理的精度要求高，算法更加灵活.但缺点是可靠性低、数据量大，因此较难实现.
-
图8 集中式机器人编队架构
-
Fig.8 Structure of centralized robot formation
-
在集中式架构发展的过程中，从单一的服务器分配任务给机器人编队，再到实现机器人与机器人、机器人与服务器之间的相互通信，其系统稳定性以及系统任务完成率都得到了极大的提高.
-
3.1.2 分布式
-
分布式架构中，每个机器人都是一个具有独立决策能力的智能体，自身具有很好的协同能力与自治能力，并以数据链技术作为机器人之间的数据传输支撑.分布式[43]架构具有实时性强、抗干扰能力好、计算量小、数据冗余低等优点，适用于动态环境、中等乃至大规模系统中.分布式协同机器人集群算法灵活稳定、富有弹性的特点也使其在大规模、复杂、多变的环境中具有更强的优势.
-
虽然分布式实现较为困难，不易控制，但它仍是机器人编队未来发展的重要方向.2010年，Cunningham等[44]提出一种分布式SLAM系统DDF-SAM，可以在低带宽、低算力的情况下为一个机器人团队高效稳定地分配地图信息.此外，DDF-SAM对机器人故障与网络拓扑变化具有很好的弹性，可以拓展到大型多机器人网络中.而针对DDF-SAM中保守的避免重复的技术方法、依赖批量边缘化方法的地图汇总方式等问题，Cunningham等[45]又提出了DDF-SAM2.0版本，它将反因子作为工具，避免了领域内的重复技术，可以处理动态环境，并将多个单目相机拍到的影像进行重叠分类，但缺点在于相机间必须同步.2007年，Ziparo等[46] 提出一种用于恶劣环境探索的多机器人分布式编队，在恶劣环境中编队采用RFIDs（射频识别技术）进行特征检测.文中使用了基于EKF的SLAM算法，在机器人探索结束后通过基于RFID关联的本地地图进行合并，并将机器人本身探索到的地图合并到全局拓扑图中，以保持全局的一致性.2013年，Zou等[47]提出一种基于SFM（Structure From Motion）的单目协作SLAM.该算法使用不同的相机图像构建出一个动态全局的三维地图，在数据集试验后发现系统相比于单摄像头SLAM具有更高的精度与稳定性.图9为分布式蜂群无人机编队架构，图中若干个蓝色模块代表系统中有若干个蜂群无人机.
-
分布式架构对应的融合方式为分布式融合.分布式融合首先对每个传感器信息进行预处理并给出一个局部估计，再在中心节点对局部估计量进行全局融合.但由于各个体上的传感器都能形成各自的局部航迹，因此分布式融合也被称为航迹融合或状态向量融合.分布式融合的本质为融合中心对各个传感器的目标状态估计值进行融合，得到融合后的综合航迹.
-
3.1.3 混合式
-
混合式系统吸取了集中式、分布式控制体系各自的优势，对解决多类型无人机集群任务分配问题更合理.混合式架构中，系统会在静态状态下进行整个系统的初始任务分配，并归纳分析机器人编队中每架机器人反馈回来的信息.此外，无人机状态或任务的改变，会使系统中机器人本身发挥自主性重新对任务目标信息进行采集与分析，并进行无人机编队中的实时信息共享与交互.混合式系统通常需要依靠无人机集群自身进行任务的协同分配，这不仅提高了实时性还大大减少了地面工作站的工作量，同时所得到的任务分配方案也是相对合理的.混合式控制体系对集中式与分布式系统取长补短，具有较大的实时应用意义.
-
图9 分布式蜂群无人机编队架构
-
Fig.9 Architecture diagram for distributed swarm drone formation
-
2013年，Forster等[48]提出一种在室内、室外均能运行的单目视觉混合式地图融合SLAM，该框架同时运行3个MAV（Micro Aerial Vehicle，微型飞行器）.系统中每个代理机器人在运行伊始各自创建一个单独的线程，当位置检测器检测到两张地图之间有重叠时，地图就会进行合并.系统整体采用关键帧提取技术，将每个代理机器人作为一个分布式预处理器，将选定的关键帧特征与相对姿态估计通过二进制传输到地面工作站.二进制的传输方式使得该系统具有鲁棒性高、带宽低、稳定性好的优点.该系统也是第一个实时协作单目SLAM，在SFLY两个室外数据集上测试完后，已经可以实时运行在多个MAV上.2014年，Riazuelo等[49]提出C2TM算法，在云计算机中运行地图优化环节，光摄像机则跟踪客户运行在本地计算机上，降低了代理机器人的运算成本，并使得系统有了更好的鲁棒性.此后，Schmuck等[50]也提出一种采用关键帧提取技术的单目UAV编队系统，它证明了混合式系统在多无人机场景下的适用性.
-
混合式框架所对应的融合方式为混合式融合，即每个传感器在搜集完数据后直接送入中心进行融合，同时传感器也可以给出一个布局估计，再送到中心节点进行融合.这种融合方式具有很强的适应能力，兼顾分布式、集中式的优点，稳定性较强.但缺点也十分明显，即结构上比集中式、分布式更复杂，同时通信与整体计算量也较大.
-
表5为几种常见的多机器人SLAM系统，表6总结了3种架构的算法类型与优缺点.
-
3.2 多机器人SLAM融合算法
-
数据融合[56]最早应用在军事领域，作为一种属性融合，可以将同一个体、同一类型的多源数据[57]加以智能化合成，用来产生比单一信息源更精准更可靠的估计与判断.同样，分布式机器人算法也涉及到机器人与机器人之间的数据交流，而现阶段的机器人编队形式主要有集中式、分布式、混合式3种情形.而根据编队分类方式的不同，实现的效果也不同.根据融合数据的类型不同，本文将其分为数据融合（早期融合）、特征融合（中期融合）、决策融合（后期融合）3种融合方式.
-
3.2.1 数据融合
-
数据融合也被称为早期数据融合，即传感器在之接收到数据信息后便对数据进行直接融合.数据融合考虑了收集到的所有数据，但缺点在于需要处理的数据量较大.数据融合的关键在于统一各个传感器产生的数据时间线以及传感器之间的匹配精度，使得各个传感器产生的数据得以融合.在数据融合中涉及到的算法有:卡尔曼滤波算法、粒子滤波算法、黎曼优化算法.
-
2006年，Howard等[58]将粒子滤波引入到多机器人SLAM中，该算法可以在机器人初始姿态未知的情况下将机器人的所有数据都融合到一张地图上.这一特点使得该算法可以在处理器上快速、实时地融合来自4个机器人的数据，稳定运行实时、快速、准确的多机器人SLAM算法.2012年，Knuth等[59]提出一种分布式算法，用于在卫星定位系统不可用时融合各个车辆之间的相对位置测量值以构建完整的三维姿态图.2013年，Knuth等[60]提出一种分布式-黎曼优化算法.该算法通过融合时间以及机器人之间的相对测量值来实现协同定位并获取每个机器人的绝对姿态估计.这种姿态估计算法的性能优于航向估计算法，同时只需在已获得相对测量的机器人之间进行通信.图10为传感器数据融合示意图.
-
3.2.2 特征数据融合
-
特征数据融合又称为中期数据融合，它首先从各个传感器的多模态数据中提取能够直接表示模态数据的特征，并在特征的级别上对这些不同数据进行融合.以多机器人视觉SLAM为例，在收集到各传感器数据时，会提取图像数据中的特征点.常用的特征点提取方法包括Harris角点、FAST角点、GFTT角点、SIFT、SURF、ORB等.在提取完特征点之后，系统融合这些特征，并将融合特征作为输入数据输入到一个模型中，进而输出预测结果.
-
图10 数据融合示意图
-
Fig.10 Schematic diagram of data fusion
-
2013年，Forster等[48]提出一种运行协同定位与映射的融合算法.文中为每个MAV都创建了一个单独地图，地图间检测到有重叠区域时就会进行合并，以达到多个MAV数据融合的效果.算法使用集中式架构，通过MAV与地面站之间分配工作负载，不仅节省算力还不需要较强的传输带宽.图11为特征数据融合示意图.
-
3.2.3 决策数据融合
-
决策数据融合又称为后期数据融合.决策级融合是一种高层次融合，其融合结果是为指挥决策提供依据的.因此，决策级融合必须从具体决策问题的需求出发，充分利用特征级融合所提取的测量对象的各类特征信息进行融合.它的优点在于模型的独立鲁棒性好、容错性高、开放性好、处理时间短、数据要求低、分析能力强.但因为决策级融合对预处理、特征提取具有较高的要求，因此决策级融合所需的代价也较高.决策级融合一般会采用分类器对数据特征进行分析，再利用投票法对数据进行处理，最后将所有数据进行决策层的融合.
-
2009年，LeBlanc等[61]提出一种解决机器人目标定位问题的方法，该问题本质上被视为是一个信息融合问题.文中通过模糊逻辑技术来表示与组合不同时间不同来源的信息，同时考虑到计算、内存、带宽等需求，在数据集上测试后发现算法的鲁棒性、效率均取得较好效果.2013年，Zhao等[62]将高光谱数据特征使用支持向量机、最大似然分类器以及多项对数回归这3种分类器进行特征分析，并使用投票法进行数据处理，最后对这些分类器分类出的图像采用多数投票法进行融合，得到最终的决策结果.图12为决策数据融合示意图.
-
表7为同构数据融合方案对比.
-
图11 特征融合示意图
-
Fig.11 Schematic diagram of feature fusion
-
图12 决策数据融合示意图
-
Fig.12 Schematic diagram of decision data fusion
-
3.3 语义与多机器人SLAM的关联
-
VSLAM是以图像作为主要环境感知信息源的SLAM系统.在研究初期，一些研究人员会通过CNN、RNN等神经网络提取环境中的语义信息来提高VSLAM的性能.而随着各种VSLAM算法的发展，人们开始不断挖掘图像信息中的语义信息[63].语义可以提供足够的环境信息，用以支持SLAM机器人系统在未知环境进行运动与建图.传统的VSLAM以点云等形式来表示环境，但点云对于研究人员来说就是一堆毫无意义的点.为了从集合与内容两个层面感知世界，并更好地为人类服务，机器人需要进一步抽象这些点的特征并理解它们，而语义信息便是一个很好的媒介.
-
3.3.1 神经网络在语义VSLAM中的应用
-
现代语义VSLAM系统离不开深度学习，通过深度学习得到图像数据的特征属性与关联关系可以直接应用到不同的任务中.深度学习作为机器学习的一个重要分支，在图像识别[64]、语义理解[65]、图像匹配[66]、三维重建[67]等任务中取得了显著的成果.深度学习在计算机视觉中的应用[68]很好地解决了许多传统方法所遇到的难题.基于深度学习技术，研究人员可以从图像中提取特征点、描述符、语义信息，并进行位姿估计.通过将语义信息集成到传统的VSLAM中也进一步提高了机器对图像特征的理解，有助于机器人进一步地构建高准确度的语义地图.机器学习有许多分类，常见的有CNN、RNN、迁移学习、元学习等，这些深度学习算法与SLAM的结合中，CNN、RNN、GAN是目前主流的方案.
-
1）CNN
-
CNN是最早应用在SLAM中的深度学习算法之一，随着研究的深入，其在SLAM算法中的应用也日趋成熟.2017年，McCormac等[69]提出一种将多个视点的CNN语义概率地图融合成一个密集的语义注释地图的三维语义SLAM.同时，系统将每帧2D分割成连贯的3D语义地图，在自建数据集中可以看到系统的标记准确度得到大幅提高.图13即为CNN在SLAM中的一种应用流程.2017年，Tateno等[70]在LSD-SLAM的基础上提出了基于CNN的实时SLAM系统，它可以很好地预测密集深度并将其融合在直接单目SLAM获得的深度测量数据中.该算法有效地融合了从单一帧获得的语义标签，大幅提升了在创建环境语义地图时的鲁棒性与准确性.同样，Mask R-CNN[71]作为一种高质量的图像分割算法，它可以有效地检测图像中的对象，并为每个实例生成高质量的分割掩码.2020年，Wang等[72]提出一种利用概率网络产生掩码来排除特征点的新框架——PMDS-SLAM，它利用概率网络产生掩码排除特征点，再使用Mask R-CNN进行语义分割.在TUM RGB-D数据集中的测评结果表明，估计的相机轨迹精度相比于ORB-SLAM2提高了90%.2021年，Zhao等[73]提出一种光流法与Mask R-CNN相结合的OFM-SLAM，它利用Mask R-CNN检测潜在运动目标，采用光流法检测动态特征点，最后系统采用语义分割结构构建语义八叉树图，并使用logodds方法来去除动态目标点在图中残留部分.而Faster R-CNN[74]作为Mask R-CNN的拓展，它在Mask R-CNN的基础上添加了一个用于以掩藏对象掩码的分支，并与现有的边界框识别分支并行.
-
图13 CNN-SLAM运行流程.蓝色代表系统对每一帧都会利用CNN进行姿态估计，橙色框代表使用CNN 对每一个关键帧进行深度预测，绿色代表系统最终输出融合地图与语义信息
-
Fig.13 Flowchart of CNN-SLAM. Blue represents that the system uses CNN for attitude estimation for each frame, orange represents that CNN is used for depth prediction for each key frame, and green represents the final system output of fusion map and semantic information
-
在多机器人协同SLAM系统中，机器人之间通过相互通信与协调有效利用空间分布的信息资源来提高问题解决效率.同时，机器人编队协同运行，相比较单机器人SLAM而言有着更好的容错性与抗干扰能力.近年来，语义信息的融合进一步提高了多机器人系统的鲁棒性，同时可以更大程度地利用环境地图信息进行地图构建.因此，越来越多的研究人员开始将多机器人系统与语义SLAM结合起来.2018年， Li等[75]提出一种基于CNN的多机器人边界探索策略，进一步解决了机器人探索室内环境的问题.文中对机器人所在的室内场景使用CNN训练的分类器进行分类，通过观察室内环境进而确定语义信息.2020年，Deng等[76]提出一种用于救援的语义SLAM框架，通过融合语义分割CNN网络与RGB-D SLAM前端，生成具有语义信息的密集点云图，在语义信息的帮助下，机器人可以在复杂环境中识别不同类型的地形.文中采用监督学习算法训练CNN网络，进而从RGB-D图像中提取出语义标签.2021年，Yue等[77]提出一种新的层次协同概率语义映射框架，使用CNN对原始图像进行处理得到语义图像，再将三维点云地图映射与之融合得到局部语义映射，实现了单机器人与多机器人均可生成全局统一的全局语义地图，进一步促进了多机器人协作语义SLAM的发展.
-
R-CNN[78]将CNN方法引入目标检测领域，极大地提高了目标检测的效果.此后，Girshick[79]提出了Fast R-CNN，它具有更高的目标检测精度，并在识别地图中的语义信息时更快捷、准确.2年后，Ren等[74]又提出了Faster R-CNN，相对于Fast R-CNN，它更快捷、更准确、适用范围更广.图14为Faster R-CNN网络结构.2017年，He等[71]提出一种被广泛应用在SLAM中的实例分割算法——Mask-RCNN，它可以在语义分割的基础上对同类物体完成更精细的分割.
-
现代语义VSLAM系统离不开深度学习，同时具有高定位精度的VSLAM与深度神经网络的结合也进一步提高了语义SLAM算法的精度与语义提取的准确度.相对于传统视觉SLAM无法应付各种环境、地图模型仅基于几何信息进行环境探索的缺点，SLAM与深度信息结合的语义SLAM则有着更好的表现.目前在语义SLAM中表现较好的网络有YOLO、CNN、Faster R-CNN、Mask R-CNN等.
-
YOLO与Faster R-CNN都在深度学习中被广泛使用，在语义SLAM中两者同样被广泛运用.2020年，Yang等[80]提出一种动态特征检测方法——语义约束与几何约束，它可以为动态特征的过滤提供一种鲁棒、快速的方法.YOLOv3的加入可以更好地用于计算相邻帧之间更为准确的基本矩阵，并可用来过滤真正的动态特征.在TUM RGB-D数据集上的测试结果表明，YOLOv3可以很好地提高ORB-SLAM2的系统精度.2022年，Wu等[81]提出一种基于YOLO的语义SLAM.该网络采用低延迟的骨干结构，为SLAM系统加速并生成必要的语义信息.算法采用紧耦合的方式组合了对象检测方法与几何约束方法，可以有效地减少动态对象的影响，使得系统成为一种具有几何约束的动态环境语义SLAM系统.
-
图14 Faster R-CNN[74]网络结构
-
Fig.14 Structure diagram of Faster R-CNN[74]
-
2）RNN
-
RNN全称为递归神经网络，主要是用来处理具有序列的问题，因此，在很多情况下会被用于处理股票、语音等问题.双向循环神经网络Bi-RNN与长短期记忆网络（Long Short-Term Memory，LSTM）是常见的循环神经网络.LSTM的提出解决了CNN中时间维度的梯度消失问题，但标准的RNN结构所存储的前后信息的范围有限，在很大程度上限制了RNN的应用.2000年，Gers等[82]针对LSTM型RNN进行了优化，在原有LSTM的模型上加入了窥视孔连接，进一步提高了LSTM单元对拥有长时间间隔相关性特点的序列信息的处理能力.2023年，Syed等[83]将LSTM架构用于船舶的航迹推算上，通过挖掘时间模式有效地预测了船舶的位置.
-
RNN也被广泛应用于SLAM.2020年， Chancán等[84]提出一种可训练的CNN+RNN架构的SLAM，可以用于从单一的单目图像序列中联合学习视觉与位置表示，还可以在大型驾驶数据集中的单个图像序列中学习到具有实际意义的时间关系，而CNN与RNN的联系使得系统在运行时间序列、准确性以及计算需求方面显著优于其他基于序列的算法.从该框架中可以看出，在时间序列问题上RNN具有较强的处理能力.2020年，Qi等[85]提出一种新的关注语义循环神经网络（stagNet），通过语义图及时地捕捉到动态场景中的时空表示以及对象间关系，还通过在RNN之间传递消息并进行推理，使得模型能够进一步预测整个场景的标签，进而将每个个体动作以及人与人之间的交互联系起来.
-
3）GAN
-
GAN的全称是生成对抗网络[86]，它主要组成分为生成网络与判别网络两种.生成网络主要负责生成模拟数据，判别网络则需要判断输入的数据是真实的还是生成的.生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确.二者关系形成对抗，因此叫对抗网络.2018年，Wang等[87]提出使用GAN从语义标签地图合成高分辨率真实感图像的方法，展示了以一个简单的素描图像作为输入进而得到一个具有高分辨率图像的输出.这种形式的模型使得机器可以对不同的对象进行风格化，也能以此推广到其他数据集中，进而将其使用在其他的图像合成问题中.此外，GAN也在图像风格迁移[88]、音频标签标注[89]等领域使用广泛.
-
而在SLAM中，GAN的应用也逐渐发展起来.2019年，Almalioglu等[90]提出一种生成式无监督学习框架，使用GAN从未标记的RGB图像中预测相机姿态以及场景的单目深度图.文中提出的方法在姿态估计方面优于所有无监督以及传统估计方法，同时还能够捕获到更详细、更清晰、更准确的场景深度图.2022年，Almalioglu等[91]又提出一种新的基于自监督学习的视觉惯性里程计以及深度地图恢复方法SelfVIO，该方法使用对抗学习来实现自适应视觉与IMU的融合.在实验过程中，该算法可以在不需要IMU内部参数的情况下运行视觉惯性里程计.在性能上，该算法在数据集中运行的结果可以比肩最先进的视觉里程计或视觉惯性里程计.
-
CNN、RNN、GAN 3类深度学习网络是较早被提出的深度学习算法.随着VSLAM研究的不断深入，各类深度学习网络在其中的应用也逐渐增多.越来越多的VSLAM算法开始借助深度学习网络模型实现高效、稳定、快速的图像识别技术，较为经典的便是语义与SLAM的结合.语义信息的融入极大地提高了机器人感知世界的能力，也给了机器人编队更多的发展空间与发展方向.
-
3.3.2 多机器人语义VSLAM
-
在多机器人协同SLAM系统中，机器人之间的相互通信与协调可以有效利用空间分布的信息资源，进一步提高解决问题的效率.同时，系统中单个机器人的损坏不会影响其他机器人的运行，因此相比于单机器人有更好的容错性与抗干扰能力.语义信息的融合有助于提高多机器人系统的鲁棒性，同时多视图观察对象还可以有效避免对象关联的模糊性问题.
-
近些年，CNN已经成为图像分类和分割等计算机视觉任务的主流.语义分割的含义是为图像分配密集语义标签的问题，它的原理是将一些原始数据如图像数据，作为输入转换为感兴趣区域的掩膜.同时，CNN将图像中每个像素根据其感兴趣对象分配类别ID，以此来完成对数据图像中物体的分类.语义分割的目标是为图像的每个像素分配一个类标签，因此也可以被认为是分类问题.语义分割一直被广泛运用在遥感、自动驾驶、面部识别、图像处理等领域.本文从语义分割在SLAM的应用[92]入手，以语义标签的生成方式进行划分，将语义分割划分为监督学习算法、无监督学习算法以及半监督学习算法.
-
1）监督学习算法
-
监督学习是一种机器人学习的范式，其目标就是学习一个函数.监督学习首先是由训练数据进行语义标签的生成训练，同时产生一个输入与输出的对应函数.该函数可以根据规定的输入、输出将特征向量映射到标签中.
-
语义标签的生成通常是由神经网络对原始图像数据进行标定的.而在基于监督学习算法生成语义标签的分类方法中，分割神经网络通常由研究人员提前进行训练，即生成的语义标签类别是一开始就固定好的.在面对新的图像数据时，这些神经网络可以根据训练时固定的语义标签对这些图像进行语义标注.目前大多数先进的多机器人语义SLAM系统都是基于监督学习进行语义标签的生成.但监督学习算法无法在线对新观察的环境特征进行分类，这也是语义分割领域亟待解决的难题.
-
2020年，Rosinol等[93]提出了一个开源C++库Kimera，专门用于实时度量-语义视觉惯性SLAM.它支持三维网格模型重建语义标记，使用二维语义标记图像对全局网格进行语义标注并使用视觉惯性传感器估计机器人状态.该数据库可以在CPU上实时运行，通过语义标记的图像生成3D度量语义地图.同时，他们还提供了一套持续集成与基准的测试工具，这也为未来多机器人语义SLAM的研究打下了基础.2021年，Rosinol等[94]完善了Kimera，提出了第一个以视觉惯性数据构建3D动态场景图的算法.该算法框架包括视觉惯性SLAM、度量语义三维重建等.在数据集的测试中，该算法短短几分钟就能构建出复杂室内环境的3D动态场景图，同时还可以实时运行度量语义重构的创建.同年，Chang等[95]扩展了Kimera，提出了第一个用于密集度量语义SLAM的全分布式多机器人系统Kimera-Multi.系统通过局部传感与间歇通信实时构建了一个语义化的环境三维网格模型.在数据集中的模拟可以看出，该系统能够构建准确的三维度量语义网格，同时计算量更小，通信量也更小.2022年，Tian等[96]进一步完善了构建密集度量语义SLAM的完全分布式多机器人系统Kimera-Multi.该分布式系统使得机器人团队能够实时协作估计环境的语义注释3D网格估计，并实现了与集中式系统类似的估计精度，还具有更稳定、更准确的轨迹估计.相对于早期版本，Kimera-Multi的鲁棒性与准确性有了很大的提高.图15展示了一种监督学习式多机器人语义SLAM的工作流程.
-
2020年，Deng等[76]提出一种基于监督学习算法的救援语义SLAM框架，通过使用训练后的CNN网络从RGB-D图像中提取语义标签，最终的效果是系统可以生成精确的密集语义地图，同时还能利用语义信息对路径规划进行改善.2022年，Zobeidi等[97]提出一种基于在线高斯过程回归方法协作构建度量语义地图的在线概率度量语义映射方法.通过数据集的验证得知该系统具有与深度神经网络一致的精度，同时在噪声环境下以及不确定性高的情况下具有很好的鲁棒性.而在单机器人重建序列试验中，他们采用监督学习算法将包含3 700个RGB-D图像和61个语义类别的数据集进行重建.实验结果表明，该算法重建速度快、准确度高.
-
图15 Kimera三维分布式语义地图构建示意图
-
Fig.15 Schematic for construction of Kimera3D distributed semantic map
-
2）无监督学习算法
-
针对监督学习无法在线对新观察的环境特征进行分类的缺点，研究人员提出了无监督学习算法.它的含义是指当机器人在环境中有一个新颖的观察时，可以自己发明一个新标签用以标记该观察.该算法虽然可以独立标记标签，具有很强的自主性，但当多个机器人为同一个新类别独立开发出自己的标签时，检测方法就很容易出现错误或不一致的匹配.
-
无监督学习算法是目前语义SLAM中较为前沿的语义标签生成方式，它给了机器人个体极大的自主权，但其难点在于如何统一不同机器人之间针对相同物体产生的新标签，这也一直是多机器人语义SLAM的研究热点.常见的无监督学习算法有聚类和降维两种.常用的无监督方法是聚类算法[98]，它通过人工设计的图像特征进行聚类分割.在面对大量未标注的数据集时，聚类算法按照数据内在相似性将数据集划分为多个类别.类别与类别之间的数据相似度较小，而类别间数据相似度较大，进而实现聚类算法对数据的分类与分析.
-
2018年，Wu等[99]提出一种无监督学习生成语义标签的实例级判别方法.该算法使用CNN将每张图像编码为特征向量，并将其投影到128维空间并做归一化处理.算法通过最大限度地将训练样本特征分散在128维单位球上，以此得到最优特征嵌入，进而学习实例级辨别.试验结果表明，该方法优于ImageNet与Places上最先进的图像分类方法.2021年，Gansbeke等[100]提出一种无监督语义分割框架.首先采用无监督显著性预测对象掩码建议，其次将得到的掩码作为自监督优化目标的先验，最后像素嵌入为图像进行语义分割.在实际运用中，该框架首先从一个没有标注的图像数据集中学习用于语义分割的像素嵌入函数，再进行实例语义分割.在试验对比阶段，该框架与ImageNet上有监督的预训练相比，有着更好的语义标签生成性能.虽然无监督学习在数据集中的性能较好，但在实际大规模数据的情况下性能还有待提升.2023年，Gao等[101]在大型数据集ImageNet的支持下，提出了大规模无监督语义分割算法模型，通过从大规模数据中学习到的类别与形状对像素进行标签分配.文中提出在给定的一个大的图像集中，该算法会将自学习标签分配给图像集中的每个像素.这也验证了无监督学习算法对于大规模图像数据进行语义标注的可行性.图16为无监督语义提取算法的流程.
-
图16 一种无监督语义提取算法
-
Fig.16 An unsupervised semantic extraction algorithm
-
在多机器人语义SLAM中，无监督学习算法也有着很好的应用前景.2018年，Li等[75]提出一种基于CNN多机器人边界探索策略，进一步解决了机器人探索室内环境的问题.他们考虑了室内目标边界的语义信息，并将这些信息进行语义分类之后整合到效用函数中，帮助机器人探索办公室、会议室等室内场景.这种工作模式为后续使用无监督学习算法生成语义标签作出了铺垫，使得系统可以独立进行不同物体语义类型的确定.2021年，Jamieson等[102]提出一种在新环境中多机器人分布式语义SLAM解决办法.他们让每个机器人都使用在线语义3D SLAM系统对自己的观察进行建模，并创建高质量的语义地图.同时，在通信条件有限的情况下，可以在机器人之间以及人类操作员之间共享学习到的语义地图与模型.文中提出让每个机器人在线学习无监督语义场景模型，使用多路匹配算法来识别不同机器人的学习语义标签的一致匹配集，从而克服无监督学习的障碍.相对于现有技术来说，该解决方案使得全局地图质量有效提高，同时融合后的地图还不会发生退化.
-
3）半监督学习算法
-
半监督学习算法[103]可以很好地解决数据集中只有少量的数据有标注的问题.2018年，Zhou[104]将弱监督学习分为不完全监督、不确切监督、不准确监督三类.不完全监督指的是在训练数据中只有一部分数据被给予标签，还有一部分数据没有标签；不确切监督指的是训练数据中只给出粗粒度标签，这意味着对训练数据中的标签，人工并未将其精确到物体的名称，而是告诉机器人一个较为模糊的标签；不准确监督指的是在训练数据中标记的标签并不一定正确，原本应该是“西瓜”的标签却被标记成“哈密瓜”.其中，不完全监督即半监督学习.半监督学习不像监督学习那样需要人工标记出所有语义标签，其准确率也高于无监督学习算法，因此逐渐被广泛运用在语义分割中.
-
2019年，Berthelot等[105]提出一种半监督学习方法MixMatch用于语义分割，它通过数据增强的无标记示例猜测低熵标签，再使用MixUp混合有标记与无标记数据.在数据集中的实验结果表明，该半监督学习方法很好地降低了标记错误，同时对隐私数据有着很好的保护作用.2022年，Lei等[106]提出一种多分支弱监督学习网络WPSointNet用来解决大规模移动激光扫描点云语义分割问题.他们将一个基本的弱监督框架与一个多分支弱监督模块组合起来，在输入点云与少量标签的情况下，通过弱监督框架输出输入点云的预测值以及整个网络的底层监督信号.在公开的数据集中实验结果表明，该弱监督学习网络有着96.76%的总体精度，优于大多数完全监督方法.
-
在图像识别领域，半监督学习经常被用在面部表情分析的实际场景中.2023年，Badea等[107]提出一种半监督学习算法应用在面部表情识别中，通过引入额外的、独特的数据库中未标记的数据来提高半监督学习算法的性能.实验结果表明，该半监督算法在面部表情的标注上具有很好的表现.同年，Kirillov等[108]提出一种分割一切的开源语义分割模型，通过自建的数据引擎构建了目前最大的分割数据集.该数据集中有近99.1%的语义标签是自动生成的，同时，其准确性、效率、鲁棒性等具有很好表现.图17是一种半监督语义提取算法示意图.
-
在SLAM的应用方面，2020年Yue等[109]提出一种基于半监督语义算法的单目深度估计算法.框架使用了标记的语义真实数据，首先对单目相机图像进行语义分割，再通过语义标签对深度估计网络的构建提供指导意见.该框架在数据集中的实验结果表明，半监督语义分割算法从图像中学习的语义信息可以有效地提高单目深度估计的效果，且在精度上也优于目前的单目深度估计算法.同年，Rosu等[110]提出一种半监督语义SLAM算法，通过投影将标签从稳定网格传播到每个摄像机帧上，再通过半监督的方式重新训练语义分割.该算法还通过语义纹理网格在独立分辨率上将场景几何与语义紧密耦合，使得系统可以使用不同的分辨率表示语义与几何，进而得到更完善的语义映射体系，系统整体上还可以保持低内存使用状态.
-
图17 一种半监督语义提取算法
-
Fig.17 A semi-supervised semantic extraction algorithm
-
半监督学习算法在多机器人SLAM方面也应用广泛.2021年，Majcherczyk等[111]提出一种跨机器人群的在线融合不确定语义注释的方法.首先在机器人之间存储本地化的语义注释，其次通过部署在各个机器人上的分类器对地图上的对象进行分类.在遇到不完善以及不确定的语义分类时，算法采用投票法来评估语义标签的准确性，进而得到更符合实际物体的语义标签.半监督算法的应用使得该分布式机器人生成的语义映射更为丰富，准确度更高.2023年，Cramariuc等[112]提出的Maplab2.0通过比较同一类对象的语义标签来找到候选语义循环闭包，在机器人遇到一幅图像中观察的两个地标无法正常匹配时，会在几何上验证候选标志并聚类可见标志，再通过聚类方法完成对陌生几何物体的语义分割.半监督学习可以很好地解决监督学习中需要大量人力标注的缺点，也解决了无监督学习中准确性较低的问题，成为目前研究人员所青睐的一种语义标注方法.
-
可以说语义地图给了多机器人SLAM理解世界的大脑.通过与深度学习的融合，多编队机器人随之走上自主控制的道路，如仿生蚁群一般，以一群数量极多但极微小的个体编队进行合作执行命令，进而达到更高的任务完成率与成功率.
-
4 总结展望
-
本文介绍了VSLAM中的经典框架、部分经典已开源的VSLAM，以及VSLAM在多机器人SLAM中所做出的贡献；从结构框架、算法融合、语义融合等方面将多机器人SLAM进行了总结，并列举一些经典多机器人SLAM算法；从CNN、RNN、GAN等经典深度学习算法入手，将语义信息引入到多机器人SLAM的研究中；通过系统生成标签的方法，将多机器人语义SLAM算法划分为监督算法、无监督算法、半监督算法3类.
-
未来多机器人SLAM的发展趋势总结如下：
-
1）更高层次的环境感知：神经网络可以更方便地提取出高层次的语义信息，同时促进机器人智能化的发展.传统的VSLAM算法只能满足机器人基本的定位导航需求而无法完成更高等级的任务.但这些任务可以借助语义信息将数据关联从传统的像素级别提升到物体级别，并可以给感知的几何环境信息赋以语义标签，进而得到更高层次的语义地图，以满足机器人进行自主环境感知，实现真正的自主化集群SLAM.
-
2）性能更强的智能控制：较为传统的集中式控制，虽然可以为机器人群体提供更为合理、性价比更高的控制方案，但其控制的机器人数量有限.而未来研究人员所期望的集群机器人需要达到千台、万台的巨量机器人集群，这就需要机器人编队中的每个机器人都有自我判断能力，控制单元也需要智能化控制，充分发挥每个机器人个体的自主性，形成与大自然蜂群、鱼群类似的集群机器人系统.
-
3）更高效的数据融合：通过将集群机器人系统与语义信息相结合，在特征提取以及匹配方面达到更好的效果，使得集群机器人可以更好地理解环境.深度学习的加入使得多机器人数据融合应用更广泛、实现更快捷.未来会更加注重深度学习在集群机器人中的应用，提升集群机器人的整体性能.
-
参考文献
-
[1] Smith R C,Cheeseman P.On the representation and estimation of spatial uncertainty[J].The International Journal of Robotics Research,1986,5(4):56-68
-
[2] Durrant-Whyte H,Bailey T.Simultaneous localization and mapping:part I[J].IEEE Robotics & Automation Magazine,2006,13(2):99-110
-
[3] Bailey T,Durrant-Whyte H.Simultaneous localization and mapping(SLAM):part Ⅱ[J].IEEE Robotics & Automation Magazine,2006,13(3):108-117
-
[4] Aulinas J,Petillot Y,Salvi J,et al.The SLAM problem:a survey[C]//International Conference of the Catalan Association for Artificial Intelligence.October 22-24,2008,Sant Martí d'Empúries,Spain.2008:363-371
-
[5] Strasdat H,Montiel J M M,Davison A J.Real-time monocular SLAM:why filter?[C]//2010 IEEE International Conference on Robotics and Automation.May 3-7,2010,Anchorage,AK,USA.IEEE,2010:2657-2664
-
[6] Strasdat H,Montiel J M M,Davison A J.Visual SLAM:why filter?[J].Image and Vision Computing,2012,30(2):65-77
-
[7] Dissanayake G,Huang S D,Wang Z,et al.A review of recent developments in simultaneous localization and mapping[C]//2011 6th International Conference on Industrial and Information Systems.August 16-19,2011,Kandy,Sri Lanka.IEEE,2011:477-482
-
[8] Huang S D,Dissanayake G.A critique of current developments in simultaneous localization and mapping[J].International Journal of Advanced Robotic Systems,2016,13(5):172988141666948
-
[9] Saeedi S,Trentini M,Seto M,et al.Multiple-robot simultaneous localization and mapping:a review[J].Journal of Field Robotics,2016,33(1):3-46
-
[10] 卫恒,吕强,林辉灿,等.多机器人SLAM后端优化算法综述[J].系统工程与电子技术,2017,39(11):2553-2565 WEI Heng,LÜ Qiang,LIN Huican,et al.Survey on multi-robot SLAM back-end optimization algorithm[J].Systems Engineering and Electronics,2017,39(11):2553-2565
-
[11] 阴贺生,裴硕,徐磊,等.多机器人视觉同时定位与建图技术研究综述[J].机械工程学报,2022,58(11):11-36 YIN Hesheng,PEI Shuo,XU Lei,et al.Review of research on multi-robot visual simultaneous localization and mapping[J].Journal of Mechanical Engineering,2022,58(11):11-36
-
[12] 苗国英,马倩.多智能体系统的协调控制研究综述[J].南京信息工程大学学报(自然科学版),2013,5(5):385-396 MIAO Guoying,MA Qian.A survey of developments on coordinated control of multi-agent systems[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2013,5(5):385-396
-
[13] 胡凯,陈旭,杨平化,等.基于滑模变结构控制多机器人协同编队的研究综述[J].南京信息工程大学学报(自然科学版),2022,14(2):197-211 HU Kai,CHEN Xu,YANG Pinghua,et al.A review of cooperative formation of multiple robots based on sliding mode variable structure control[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2022,14(2):197-211
-
[14] 刘佳,陈增强,刘忠信.多智能体系统及其协同控制研究进展[J].智能系统学报,2010,5(1):1-9 LIU Jia,CHEN Zengqiang,LIU Zhongxin.Advances in multi-agent systems and cooperative control[J].CAAI Transactions on Intelligent Systems,2010,5(1):1-9
-
[15] 裴凌,李涛,花彤,等.多源融合定位算法综述[J].南京信息工程大学学报(自然科学版),2022,14(6):635-648 PEI Ling,LI Tao,HUA Tong,et al.A survey of multi-source fusion positioning algorithms[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2022,14(6):635-648
-
[16] Dorigo M,Theraulaz G,Trianni V.Swarm robotics:past,present,and future[J].Proceedings of the IEEE,2021,109(7):1152-1165
-
[17] 胡凯,吴佳胜,郑翡,等.视觉里程计研究综述[J].南京信息工程大学学报(自然科学版),2021,13(3):269-280 HU Kai,WU Jiasheng,ZHENG Fei,et al.A survey of visual odometry[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(3):269-280
-
[18] 裴凌,刘东辉,钱久超.室内定位技术与应用综述[J].导航定位与授时,2017,4(3):1-10 PEI Ling,LIU Donghui,QIAN Jiuchao.A survey of indoor positioning technology and application[J].Navigation Positioning and Timing,2017,4(3):1-10
-
[19] Davison A J,Reid I D,Molton N D,et al.MonoSLAM:real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067
-
[20] Klein G,Murray D.Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality.November 13-16,2007,Nara,Japan.IEEE,2008:225-234
-
[21] Newcombe R A,Lovegrove S J,Davison A J.DTAM:dense tracking and mapping in real-time[C]//2011 International Conference on Computer Vision.November 6-13,2011,Barcelona,Spain.IEEE,2012:2320-2327
-
[22] Forster C,Pizzoli M,Scaramuzza D.SVO:fast semi-direct monocular visual odometry[C]//2014 IEEE International Conference on Robotics and Automation(ICRA).May 31-June 7,2014,Hong Kong,China.IEEE,2014:15-22
-
[23] Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163
-
[24] Mur-Artal R,Tardós J D.ORB-SLAM2:an open-source SLAM system for monocular,stereo,and RGB-D cameras[J].IEEE Transactions on Robotics,2017,33(5):1255-1262
-
[25] Campos C,Elvira R,Rodríguez J J G,et al.ORB-SLAM3:an accurate open-source library for visual,visual-inertial,and multimap SLAM[J].IEEE Transactions on Robotics,2021,37(6):1874-1890
-
[26] Pire T,Fischer T,Castro G,et al.S-PTAM:stereo parallel tracking and mapping[J].Robotics and Autonomous Systems,2017,93:27-42
-
[27] Kerl C,Sturm J,Cremers D.Dense visual SLAM for RGB-D cameras[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.November 3-7,2013,Tokyo,Japan.IEEE,2014:2100-2106
-
[28] Engel J,Schöps T,Cremers D.LSD-SLAM:large-scale direct monocular SLAM[C]//European Conference on Computer Vision.Cham:Springer,2014:834-849
-
[29] Engel J,Koltun V,Cremers D.Direct sparse odometry[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,40(3):611-625
-
[30] Wang R,Schwörer M,Cremers D.Stereo DSO:large-scale direct sparse visual odometry with stereo cameras[C]//2017 IEEE International Conference on Computer Vision(ICCV).October 22-29,2017,Venice,Italy.IEEE,2017:3923-3931
-
[31] Izadi S,Kim D,Hilliges O,et al.KinectFusion:real-time 3D reconstruction and interaction using a moving depth camera[C]//Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology.October 16-19,2011,Santa Barbara,California,USA.New York:ACM,2011:559-568
-
[32] Whelan T,Mcdonald J,Kaess M,et al.Kintinuous:spatially extended KinectFusion[R].CSAIL Technical Reports,2012,MIT-CSAIL-TR-2012-020
-
[33] Whelan T,Salas-Moreno R F,Glocker B,et al.ElasticFusion:real-time dense SLAM and light source estimation[J].The International Journal of Robotics Research,2016,35(14):1697-1716
-
[34] 刘鑫,王忠,秦明星.多机器人协同SLAM技术研究进展[J].计算机工程,2022,48(5):1-10 LIU Xin,WANG Zhong,QIN Mingxing.Research progress of multi-robot collaborative SLAM technology[J].Computer Engineering,2022,48(5):1-10
-
[35] Cohen W W.Adaptive mapping and navigation by teams of simple robots[J].Robotics and Autonomous Systems,1996,18(4):411-434
-
[36] Khoshnevis B,Bekey G.Centralized sensing and control of multiple mobile robots[J].Computers & Industrial Engineering,1998,35(3/4):503-506
-
[37] Fenwick J W,Newman P M,Leonard J J.Cooperative concurrent mapping and localization[C]//2002 IEEE International Conference on Robotics and Automation.May 11-15,2002,Washington,DC,USA.IEEE,2002:1810-1817
-
[38] Tao T,Huang Y L,Yuan J,et al.Multi-robot cooperative map building in unknown environment considering estimation uncertainty[C]//2008 Chinese Control and Decision Conference.July 2-4,2008,Yantai,Shandong,China.IEEE,2008:2896-2901
-
[39] Mohanarajah G,Usenko V,Singh M,et al.Cloud-based collaborative 3D mapping in real-time with low-cost robots[J].IEEE Transactions on Automation Science and Engineering,2015,12(2):423-431
-
[40] Karrer M,Schmuck P,Chli M.CVI-SLAM:collaborative visual-inertial SLAM[J].IEEE Robotics and Automation Letters,2018,3(4):2762-2769
-
[41] Schmuck P,Chli M.CCM-SLAM:robust and efficient centralized collaborative monocular simultaneous localization and mapping for robotic teams[J].Journal of Field Robotics,2019,36(4):763-781
-
[42] Jang Y,Oh C,Lee Y,et al.Multirobot collaborative monocular SLAM utilizing Rendezvous[J].IEEE Transactions on Robotics,2021,37(5):1469-1486
-
[43] 武胜帅,赵宇.Lipschiz-type的高阶非线性多智能体系统分布式优化算法研究[J].南京信息工程大学学报(自然科学版),2018,10(4):456-461 WU Shengshuai,ZHAO Yu.Distributed optimization for Lipschiz-type high-order nonlinear multi-agent systems[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2018,10(4):456-461
-
[44] Cunningham A,Paluri M,Dellaert F.DDF-SAM:fully distributed SLAM using constrained factor graphs[C]//2010 IEEE/RSJ International Conference on Intelligent Robots and Systems.October 18-22,2010,Taipei,China.IEEE,2010:3025-3030
-
[45] Cunningham A,Indelman V,Dellaert F.DDF-SAM 2.0:consistent distributed smoothing and mapping[C]//2013 IEEE International Conference on Robotics and Automation.May 6-10,2013,Karlsruhe,Germany.IEEE,2013:5220-5227
-
[46] Ziparo V A,Kleiner A,Farinelli A,et al.Cooperative exploration for USAR robots with indirect communication[J].IFAC Proceedings Volumes,2007,40(15):554-559
-
[47] Zou D P,Tan P.CoSLAM:collaborative visual SLAM in dynamic environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):354-366
-
[48] Forster C,Lynen S,Kneip L,et al.Collaborative monocular SLAM with multiple micro aerial vehicles[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.November 3-7,2013,Tokyo,Japan.IEEE,2014:3962-3970
-
[49] Riazuelo L,Civera J,Montiel J M M.C2TAM:a Cloud framework for cooperative tracking and mapping[J].Robotics and Autonomous Systems,2014,62(4):401-413
-
[50] Schmuck P,Chli M.Multi-UAV collaborative monocular SLAM[C]//2017 IEEE International Conference on Robotics and Automation(ICRA).May 29-June 3,2017,Singapore.IEEE,2017:3863-3870
-
[51] Castle R,Klein G,Murray D W.Video-rate localization in multiple maps for wearable augmented reality[C]//2008 12th IEEE International Symposium on Wearable Computers.September 28-October 1,2008,Pittsburgh,PA,USA.IEEE,2009:15-22
-
[52] Lajoie P Y,Ramtoula B,Chang Y,et al.DOOR-SLAM:distributed,online,and outlier resilient SLAM for robotic teams[J].IEEE Robotics and Automation Letters,2020,5(2):1656-1663
-
[53] Cao Y J,Beltrame G.VIR-SLAM:visual,inertial,and ranging SLAM for single and multi-robot systems[J].Autonomous Robots,2021,45(6):905-917
-
[54] Huang Y W,Shan T X,Chen F F,et al.DiSCo-SLAM:distributed scan context-enabled multi-robot LiDAR SLAM with two-stage global-local graph optimization[J].IEEE Robotics and Automation Letters,2022,7(2):1150-1157
-
[55] Zhang T J,Zhang L,Chen Y,et al.CVIDS:a collaborative localization and dense mapping framework for multi-agent based visual-inertial SLAM[J].IEEE Transactions on Image Processing,2022,31:6562-6576
-
[56] 祁铧颖,贺萍.跨模态数据融合综述[J].软件工程,2022,25(10):1-7 QI Huaying,HE Ping.Overview of cross-modal data fusion[J].Software Engineer,2022,25(10):1-7
-
[57] 张凯渊,刘佩林,钱久超,等.多传感器融合机器人室内定位系统设计与实现[J].信息技术,2014,38(11):83-87 ZHANG Kaiyuan,LIU Peilin,QIAN Jiuchao,et al.Design and implementation of multi-sensor fused robot indoor localization system[J].Information Technology,2014,38(11):83-87
-
[58] Howard A.Multi-robot simultaneous localization and mapping using particle filters[J].The International Journal of Robotics Research,2006,25(12):1243-1256
-
[59] Knuth J,Barooah P.Collaborative 3D localization of robots from relative pose measurements using gradient descent on manifolds[C]//2012 IEEE International Conference on Robotics and Automation.May 14-18,2012,Saint Paul,MN,USA.IEEE,2012:1101-1106
-
[60] Knuth J,Barooah P.Collaborative localization with heterogeneous inter-robot measurements by Riemannian optimization[C]//2013 IEEE International Conference on Robotics and Automation.May 6-10,2013,Karlsruhe,Germany.IEEE,2013:1534-1539
-
[61] LeBlanc K,Saffiotti A.Multirobot object localization:a fuzzy fusion approach[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B(Cybernetics),2009,39(5):1259-1276
-
[62] Zhao B,Zhong Y F,Zhang L P.Hybrid generative/discriminative scene classification strategy based on latent dirichlet allocation for high spatial resolution remote sensing imagery[C]//2013 IEEE International Geoscience and Remote Sensing Symposium(IGARSS).July 21-26,2013,Melbourne,VIC,Australia.IEEE,2014:196-199
-
[63] 张荣芬,袁文昊,李景玉,等.融入语义信息的VSLAM研究综述[J].贵州大学学报(自然科学版),2022,39(5):81-87 ZHANG Rongfen,YUAN Wenhao,LI Jingyu,et al.Review of VSLAM research with semantic information[J].Journal of Guizhou University(Natural Sciences),2022,39(5):81-87
-
[64] 胡凯,郑翡,卢飞宇,等.基于深度学习的行为识别算法综述[J].南京信息工程大学学报(自然科学版),2021,13(6):730-743 HU Kai,ZHENG Fei,LU Feiyu,et al.A survey of action recognition algorithms based on deep learning[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(6):730-743
-
[65] 杨弋鋆,邵文泽,王力谦,等.面向智能驾驶视觉感知的对抗样本攻击与防御方法综述[J].南京信息工程大学学报(自然科学版),2019,11(6):651-659 YANG Yijun,SHAO Wenze,WANG Liqian,et al.A survey of adversarial attacks and defenses on visual perception in automatic driving[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2019,11(6):651-659
-
[66] 唐灿,唐亮贵,刘波.图像特征检测与匹配方法研究综述[J].南京信息工程大学学报(自然科学版),2020,12(3):261-273 TANG Can,TANG Lianggui,LIU Bo.A survey of image feature detection and matching methods[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2020,12(3):261-273
-
[67] 张彦雯,胡凯,王鹏盛.三维重建算法研究综述[J].南京信息工程大学学报(自然科学版),2020,12(5):591-602 ZHANG Yanwen,HU Kai,WANG Pengsheng.Review of 3D reconstruction algorithms[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2020,12(5):591-602
-
[68] 王李祺,张成,侯宇超,等.基于深度学习特征融合的遥感图像场景分类应用[J].南京信息工程大学学报(自然科学版),2023,15(3):346-356 WANG Liqi,ZHANG Cheng,HOU Yuchao,et al.Remote sensing image scene classification application based on deep learning feature fusion [J].Journal of Nanjing University of Information Science and Technology(Natural Science Edition),2023,15(3):346-356
-
[69] McCormac J,Handa A,Davison A,et al.SemanticFusion:dense 3D semantic mapping with convolutional neural networks[C]//2017 IEEE International Conference on Robotics and Automation(ICRA).May 29-June 3,2017,Singapore.IEEE,2017:4628-4635
-
[70] Tateno K,Tombari F,Laina I,et al.CNN-SLAM:real-time dense monocular SLAM with learned depth prediction[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:6565-6574
-
[71] He K M,Gkioxari G,Dollár P,et al.Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision(ICCV).October 22-29,2017,Venice,Italy.IEEE,2017:2980-2988
-
[72] Wang C J,Zhang Y D,Li X.PMDS-SLAM:probability mesh enhanced semantic SLAM in dynamic environments[C]//2020 5th International Conference on Control,Robotics and Cybernetics(CRC).October 16-18,2020,Wuhan,China.IEEE,2020:40-44
-
[73] Zhao X,Zuo T,Hu X Y.OFM-SLAM:a visual semantic SLAM for dynamic indoor environments[J].Mathematical Problems in Engineering,2021,2021:1-16
-
[74] Ren S Q,He K M,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149
-
[75] Li G S,Chou W S,Yin F.Multi-robot coordinated exploration of indoor environments using semantic information[J].Science China Information Sciences,2018,61(7):79201
-
[76] Deng W B,Huang K H,Chen X,et al.Semantic RGB-D SLAM for rescue robot navigation[J].IEEE Access,2020,8:221320-221329
-
[77] Yue Y F,Zhao C Y,Wu Z Y,et al.Collaborative semantic understanding and mapping framework for autonomous systems[J].IEEE/ASME Transactions on Mechatronics,2021,26(2):978-989
-
[78] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28,2014,Columbus,OH,USA.IEEE,2014:580-587
-
[79] Girshick R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision(ICCV).December 7-13,2015,Santiago,Chile.IEEE,2016:1440-1448
-
[80] Yang S Q,Fan G H,Bai L L,et al.SGC-VSLAM:a semantic and geometric constraints VSLAM for dynamic indoor environments[J].Sensors,2020,20(8):2432
-
[81] Wu W X,Guo L,Gao H L,et al.YOLO-SLAM:a semantic SLAM system towards dynamic environment with geometric constraint[J].Neural Computing and Applications,2022,34(8):6011-6026
-
[82] Gers F A,Schmidhuber J,Cummins F.Learning to forget:continual prediction with LSTM[J].Neural Computation,2000,12(10):2451-2471
-
[83] Syed M A B,Ahmed I.Multi model LSTM architecture for track association based on automatic identification system data[J].arXiv e-Print,2023,arXiv:2304.01491
-
[84] Chancán M,Milford M.DeepSeqSLAM:a trainable CNN+RNN for joint global description and sequence-based place recognition[J].arXiv e-Print,2020,arXiv:2011.08518
-
[85] Qi M S,Qin J,Li A N,et al.StagNet:an attentive semantic RNN for group activity recognition[C]//Proceedings of the European Conference on Computer Vision(ECCV).September 8-14,2018,Munich,Germany.ECVA,2018:101-117
-
[86] Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative adversarial networks[J].Communications of the ACM,2020,63(11):139-144
-
[87] Wang T C,Liu M Y,Zhu J Y,et al.High-resolution image synthesis and semantic manipulation with conditional GANs[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23,2018,Salt Lake City,UT,USA.IEEE,2018:8798-8807
-
[88] 刘航,李明,李莉,等.基于生成对抗网络的图像风格迁移[J].南京信息工程大学学报(自然科学版),2023,15(5):514-523 LIU Hang,LI Ming,LI Li,et al.Image style transfer based on generative adversarial network [J].Journal of Nanjing University of Information Science and Technology(Natural Science Edition),2023,15(5):514-523
-
[89] 陈培培,邵曦.基于生成对抗网络的音乐标签自动标注[J].南京信息工程大学学报(自然科学版),2018,10(6):754-759 CHEN Peipei,SHAO Xi.Music auto-tagging based on generative adversarial networks[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2018,10(6):754-759
-
[90] Almalioglu Y,Saputra M R U,de Gusmão P P B,et al.GANVO:unsupervised deep monocular visual odometry and depth estimation with generative adversarial networks[C]//2019 International Conference on Robotics and Automation(ICRA).May 20-24,2019,Montreal,QC,Canada.IEEE,2019:5474-5480
-
[91] Almalioglu Y,Turan M,Saputra M R U,et al.SelfVIO:self-supervised deep monocular visual-inertial odometry and depth estimation[J].Neural Networks,2022,150:119-136
-
[92] 华春生,郭伟豪.动态环境下的语义视觉SLAM算法研究[J].辽宁大学学报(自然科学版),2022,49(4):289-297 HUA Chunsheng,GUO Weihao.Research on semantic vision SLAM algorithms in dynamic environment[J].Journal of Liaoning University(Natural Science Edition),2022,49(4):289-297
-
[93] Rosinol A,Abate M,Chang Y,et al.Kimera:an open-source library for real-time metric-semantic localization and mapping[C]//2020 IEEE International Conference on Robotics and Automation(ICRA).May 31-August 31,2020,Paris,France.IEEE,2020:1689-1696
-
[94] Rosinol A,Violette A,Abate M,et al.Kimera:from SLAM to spatial perception with 3D dynamic scene graphs[J].The International Journal of Robotics Research,2021,40(12/13/14):1510-1546
-
[95] Chang Y,Tian Y L,How J P,et al.Kimera-multi:a system for distributed multi-robot metric-semantic simultaneous localization and mapping[C]//2021 IEEE International Conference on Robotics and Automation(ICRA).May 30-June 5,2021,Xi'an,China.IEEE,2021:11210-11218
-
[96] Tian Y L,Chang Y,Arias F H,et al.Kimera-multi:robust,distributed,dense metric-semantic SLAM for multi-robot systems[J].IEEE Transactions on Robotics,2022,38(4):2022-2038
-
[97] Zobeidi E,Koppel A,Atanasov N.Dense incremental metric-semantic mapping for multiagent systems via sparse Gaussian process regression[J].IEEE Transactions on Robotics,2022,38(5):3133-3153
-
[98] Ma J W,Leite F.Performance boosting of conventional deep learning-based semantic segmentation leveraging unsupervised clustering[J].Automation in Construction,2022,136:104167
-
[99] Wu Z R,Xiong Y J,Yu S X,et al.Unsupervised feature learning via non-parametric instance discrimination[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23,2018,Salt Lake City,UT,USA.IEEE,2018:3733-3742
-
[100] Gansbeke W V,Vandenhende S,Georgoulis S,et al.Unsupervised semantic segmentation by contrasting object mask proposals[C]//2021 IEEE/CVF International Conference on Computer Vision(ICCV).October 10-17,2021,Montreal,QC,Canada.IEEE,2022:10032-10042
-
[101] Gao S H,Li Z Y,Yang M H,et al.Large-scale unsupervised semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(6):7457-7476
-
[102] Jamieson S,Fathian K,Khosoussi K,et al.Multi-robot distributed semantic mapping in unfamiliar environments through online matching of learned representations[C]//2021 IEEE International Conference on Robotics and Automation(ICRA).May 30-June 5,2021,Xi'an,China.IEEE,2021:8587-8593
-
[103] Fralick S.Learning to recognize patterns without a teacher[J].IEEE Transactions on Information Theory,1967,13(1):57-64
-
[104] Zhou Z H.A brief introduction to weakly supervised learning[J].National Science Review,2018,5(1):44-53
-
[105] Berthelot D,Carlini N,Goodfellow I,et al.MixMatch:a holistic approach to semi-supervised learning[J].arXiv e-Print,2019,arXiv:1905.02249
-
[106] Lei X D,Guan H Y,Ma L F,et al.WSPointNet:a multi-branch weakly supervised learning network for semantic segmentation of large-scale mobile laser scanning point clouds[J].International Journal of Applied Earth Observation and Geoinformation,2022,115:103129
-
[107] Badea M,Florea C,Racoviţeanu A,et al.Timid semi-supervised learning for face expression analysis[J].Pattern Recognition,2023,138:109417
-
[108] Kirillov A,Mintun E,Ravi N,et al.Segment anything[J].arXiv e-Print,2023,arXiv:2304.02643
-
[109] Yue M,Fu G Y,Wu M,et al.Semi-supervised monocular depth estimation based on semantic supervision[J].Journal of Intelligent & Robotic Systems,2020,100(2):455-463
-
[110] Rosu R A,Quenzel J,Behnke S.Semi-supervised semantic mapping through label propagation with semantic texture meshes[J].International Journal of Computer Vision,2020,128(5):1220-1238
-
[111] Majcherczyk N,Nallathambi D J,Antonelli T,et al.Distributed data storage and fusion for collective perception in resource-limited mobile robot swarms[J].IEEE Robotics and Automation Letters,2021,6(3):5549-5556
-
[112] Cramariuc A,Bernreiter L,Tschopp F,et al.Maplab2.0:a modular and multi-modal mapping framework[J].IEEE Robotics and Automation Letters,2023,8(2):520-527
-
摘要
大规模环境建图时，使用轻便的机器人群去感知环境，采用多机器人协同SLAM（同步定位与地图构建）方案，可以解决在单个机器人SLAM方案下面临的个体成本高昂、全局误差累积、计算量大和风险过于集中的问题，有着极强的鲁棒性与稳定性.本文回顾了多机器人协同SLAM的发展历史，介绍了相关的融合算法与融合架构，并从机器学习分类的角度梳理了现有的协同SLAM算法；同时还介绍了未来多机器人SLAM发展的重要方向：深度学习、语义地图与多机器人VSLAM的结合问题，并对未来发展侙作出了展望.
Abstract
To address the large-scale environmental mapping,lightweight robot swarms are employed to perceive the environment and multi-robot collaborative SLAM (Simultaneous Localization and Mapping) scheme has been developed to solve the problems of high individual cost,global error accumulation,excessive concentration of calculation and risk perplexed single robot SLAM schemes,which has strong robustness and stability.Here,we review the history of multi-robot collaborative SLAM,and introduce its fusion method and architecture.The current collaborative SLAM approaches are sorted out from the viewpoint of machine learning classification.The future development trends of multi-robot SLAM in directions of deep learning,semantic maps,and multi-robot VSLAM are projected.
