面向实际场景SLAM应用的光照适应性研究

柯福阳，陆佳嘉，杭琦琳，宋宝，陈伟超; KE Fuyang; LU Jiajia; HANG Qilin; SONG Bao; CHEN Weichao

引 en

面向实际场景SLAM应用的光照适应性研究

柯福阳^1,2
机构：
1. 南京信息工程大学无锡研究院,无锡, 214000
2. 南京信息工程大学遥感与测绘学院,南京, 210044
×
，陆佳嘉³
机构：
3. 无锡学院物联网工程学院,无锡, 214105
×
，杭琦琳^1,4
机构：
1. 南京信息工程大学无锡研究院,无锡, 214000
4. 南京信息工程大学自动化学院,南京, 210044
×
，宋宝^1,5
机构：
1. 南京信息工程大学无锡研究院,无锡, 214000
5. 安徽理工大学空间信息与测绘工程学院,淮南, 232001
×
，陈伟超¹
机构：
1. 南京信息工程大学无锡研究院,无锡, 214000
×

1. 南京信息工程大学无锡研究院,无锡, 214000；
2. 南京信息工程大学遥感与测绘学院,南京, 210044；
3. 无锡学院物联网工程学院,无锡, 214105；
4. 南京信息工程大学自动化学院,南京, 210044；
5. 安徽理工大学空间信息与测绘工程学院,淮南, 232001；

Illumination adaptability of SLAM applications in real scenes

KE Fuyang^1,2
Affiliation：
1. Wuxi Research Institute,Nanjing University of Information Science & Technology,Wuxi 214000 ,China
2. School of Remote Sensing & Geomatics Engineering,Nanjing University of Information Science & Technology,Nanjing 210044 ,China
×
，LU Jiajia³
Affiliation：
3. School of Internet of Things Engineering,Wuxi University,Wuxi 214105 ,China
×
，HANG Qilin^1,4
Affiliation：
1. Wuxi Research Institute,Nanjing University of Information Science & Technology,Wuxi 214000 ,China
4. School of Automation,Nanjing University of Information Science & Technology,Nanjing 210044 ,China
×
，SONG Bao^1,5
Affiliation：
1. Wuxi Research Institute,Nanjing University of Information Science & Technology,Wuxi 214000 ,China
5. School of Spatial Information and Surveying and Mapping Engineering,Anhui University of Science & Technology,Huainan 232001 ,China
×
，CHEN Weichao¹
Affiliation：
1. Wuxi Research Institute,Nanjing University of Information Science & Technology,Wuxi 214000 ,China
×

1. Wuxi Research Institute,Nanjing University of Information Science & Technology,Wuxi 214000 ,China；
2. School of Remote Sensing & Geomatics Engineering,Nanjing University of Information Science & Technology,Nanjing 210044 ,China；
3. School of Internet of Things Engineering,Wuxi University,Wuxi 214105 ,China；
4. School of Automation,Nanjing University of Information Science & Technology,Nanjing 210044 ,China；
5. School of Spatial Information and Surveying and Mapping Engineering,Anhui University of Science & Technology,Huainan 232001 ,China；

作者简介:

柯福阳,男,博士,教授,研究方向为SLAM无人驾驶特定场景应用、三维激光工业测量与控制．ke.fuyang@qq.com

中图分类号:TP391.4

文献标识码:A

DOI:10.13878/j.cnki.jnuist.20220506002

全文
评论
参考文献
出版信息

参考文献 1

Guo Z Y,Huang Y P,Hu X,et al.A survey on deep learning based approaches for scene understanding in autonomous driving[J].Electronics,2021,10(4):471

查找原文

参考文献 2

Grigorescu S,Trasnea B,Cocias T,et al.A survey of deep learning techniques for autonomous driving[J].Journal of Field Robotics,2020,37(3):362-386

查找原文

参考文献 3

Leonard J J,Durrant-Whyte H F.Simultaneous map building and localization for an autonomous mobile robot[C]//IEEE/RSJ International Workshop on Intelligent Robotics and Systems.November 3-5,1991,Osaka,Japan.IEEE,1991:1442-1447

查找原文

参考文献 4

Davison A J,Reid I D,Molton N D,et al.MonoSLAM:real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067

查找原文

参考文献 5

Klein G,Murray D.Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality.November 13-16,2007,Nara,Japan.IEEE,2007:225-234

查找原文

参考文献 6

Engel J,Schöps T,Cremers D.LSD-SLAM:large-scale direct monocular SLAM[M]//European Conference on Computer Vision 2014,Part Ⅱ,LNCS 8690.Springer,Cham,2014:834-849

查找原文

参考文献 7

Labbé M,Michaud F.RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation[J].Journal of Field Robotics,2019,36(2):416-446

查找原文

参考文献 8

Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163

查找原文

参考文献 9

Mur-Artal R,Tardós J D.ORB-SLAM2:an open-source SLAM system for monocular,stereo,and RGB-D cameras[J].IEEE Transactions on Robotics,2017,33(5):1255-1262

查找原文

参考文献 10

Campos C,Elvira R,Rodríguez J J G,et al.ORB-SLAM3:an accurate open-source library for visual,visual-inertial,and multimap SLAM[J].IEEE Transactions on Robotics,2021,37(6):1874-1890

查找原文

参考文献 11

Forster C,Pizzoli M,Scaramuzza D.SVO:fast semi-direct monocular visual odometry[C]//2014 IEEE International Conference on Robotics and Automation(ICRA).May 31-June 7,2014,Hong Kong,China.IEEE,2014:15-22

查找原文

参考文献 12

马争光,赵永国,刘成业,等.激光和视觉融合SLAM方法研究综述[J].计算机测量与控制,2019,27(3):1-6.MA Zhengguang,ZHAO Yongguo,LIU Chengye,et al.Survey of SLAM with laser-camera fusion sensor[J].Computer Measurement & Control,2019,27(3):1-6

查找原文

参考文献 13

Smith R C,Cheeseman P.On the representation and estimation of spatial uncertainty[J].The international Journal of Robotics Research,1986,5(4):56-68

查找原文

参考文献 14

Grisetti G,Stachniss C,Burgard W.Improved techniques for grid mapping with Rao-Blackwellized particle filters[J].IEEE Transactions on Robotics,2007,23(1):34-46

查找原文

参考文献 15

Kohlbrecher S,Stryk O V,Meyer J,et al.A flexible and scalable SLAM system with full 3D motion estimation[C]//2011 IEEE International Symposium on Safety,Security,and Rescue Robotics.November 1-5,2011,Kyoto,Japan.IEEE,2011:155-160

查找原文

参考文献 16

Zhang J,Singh S.Low-drift and real-time lidar odometry and mapping[J].Autonomous Robots,2017,41(2):401-416

查找原文

参考文献 17

Hess W,Kohler D,Rapp H,et al.Real-time loop closure in 2D LIDAR SLAM[C]//2016 IEEE International Conference on Robotics and Automation.May 16-21,2016,Stockholm,Sweden.IEEE,2016:1271-1278

查找原文

参考文献 18

Shan T,Englot B.Lego-loam:Lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2018:4758-4765

查找原文

参考文献 19

Lepetit V,Moreno-Noguer F,Fua P.EPnP:an accurate O(n)solution to the PnP problem[J].International Journal of Computer Vision,2009,81(2):155

查找原文

参考文献 20

陈贵宾.基于三维激光雷达的自动驾驶车辆高精度地图构建[D].长春:吉林大学,2019.CHEN Guibin.High definition MAP construction for autonomous vehicle based on 3D lidar[D].Changchun:Jilin University,2019

查找原文

目录contents

摘要 Abstract
关键词 Keywords
0 引言
1 激光SLAM算法原理
1.1 特征提取
1.2 位姿估计
2 视觉SLAM算法原理
2.1 特征签名
2.2 权值优化
2.3 贝叶斯估计
2.4 词袋库更新优化
3 实验与分析
3.1 实验环境
3.2 评价指标
3.3 激光SLAM实验与分析
3.3.1 明亮场景下激光SLAM实验
3.3.2 黑暗场景下激光SLAM实验
3.4 深度相机视觉SLAM实验与分析
3.4.1 明亮场景下深度相机视觉SLAM实验
3.4.2 黑暗场景下深度相机视觉SLAM实验
4 结论
参考文献

摘要

为探究环境感知设备在SLAM算法应用过程中的光照适应性问题,在不同光照强度下分别进行激光雷达和深度相机SLAM算法的验证性评估实验．基于四轮差速机器人,搭载16线激光雷达和深度相机,结合LOAM(Lidar Odometry And Mapping)和RTAB-MAP(Real-Time Appearance-Based Mapping)算法,分别在明暗环境中分析验证设备光照适应性．实验结果表明:在明亮环境下,基于视觉SLAM和激光SLAM系统偏差的中误差分别为0.203和0.644 m;在黑暗环境中两者偏差的中误差分别为0.282和0.683 m;深度相机在明、暗环境中的定位建图效果均优于激光雷达,深度相机的光照适应性更强．

Abstract

To explore the illumination adaptability of environmental perception equipment in application of SLAM (Simultaneous Localization And Mapping),comparative experiments of lidar and depth camera for SLAM were carried out under different illumination intensities.Combined with the LOAM (Lidar Odometry And Mapping) and RTAB-MAP (Real-Time Appearance-Based Mapping) algorithms,a 16-line lidar and a depth camera were placed on a four-wheel differential robot to carry out SLAM application in bright and dark environments.The experimental results show that in bright environment,the median errors of system deviations are 0.203 m and 0.644 m for the visual SLAM and lidar SLAM,respectively,which are 0.282 m and 0.683 m respectively in dark environment.The depth camera outperforms the lidar in positioning and mapping performance in both bright and dark environment,and it can be concluded that the depth camera is more illumination adaptable.

关键词

激光SLAM ；视觉SLAM ； RTAB-MAP算法； LOAM算法

Keywords

lidar SLAM ； visual SLAM (VSLAM) ； real-time appearance-based mapping (RTAB-MAP) ； lidar odometry and mapping (LOAM)

0 引言
作为自动驾驶中最为常见的技术——SLAM（Simultaneous Localization And Mapping，同时定位与建图）技术具有广泛的应用，它可以为单车智能自动驾驶完成例如导航、路径规划等多项复杂任务提供基础数据．SLAM技术可以在未知环境下实现机器人位置信息提取的同时完成对周围环境的构建^[1-2]，根据建立的运动载体的运动方程和观测方程，利用贝叶斯方法估计载体的状态信息．在实际场景的测试实验中，Leonard等^[3] 将SLAM问题归纳为3个方面:载体自定位、目标定位和建图．
根据传感器类别，SLAM主要分以下3类:1）基于相机的视觉SLAM，例如基于单目、双目和深度相机的视觉SLAM．视觉SLAM常用算法有Mono-SLAM^[4]、PTAM^[5]、LSD-SLAM^[6]、RTAB-MAP^[7]、ORB-SLAM^[8-10]、SVO^[11]等．其中:PTAM把整个SLAM工程分为处理前端的特征跟踪和后端的建图线程，在保持鲁棒的同时可以提高系统的实时性; ORB-SLAM采用PTAM的思想，将系统分为多个工作线程，该算法在系统稳定性方面相较于PTAM有较大的提高，并且在公开数据集下有优良的评价; SVO是基于半直接法的视觉SLAM算法，可以有效提高系统的运行速度; LSD-SLAM算法是在 2014年提出的基于直接法半稠密的单目SLAM算法，其建图效果优于其他单目SLAM算法．2）基于激光雷达的SLAM，按照设备不同可以分为基于2D、3D和固态激光雷达的激光SLAM^[12]．激光SLAM常用算法有EKF_SLAM^[13]、Gmapping^[14]、Hector SLAM^[15]、LOAM^[16]、Cartographer SLAM^[17]、LEGO-LOAM^[18]等．其中:Gmapping和Hector SLAM算法可用于2D激光雷达SLAM系统，LOAM和LEGO-LOAM算法可用于3D激光雷达SLAM系统，Cartographer SLAM算法可用于2D或者3D激光雷达SLAM系统．3）基于多种传感器融合的SLAM．常用的融合SLAM算法有视觉惯导组合SLAM、视觉激光组合SLAM和激光雷达惯导组合SLAM等．虽然有众多的SLAM技术开源算法和开源数据库，且众多学者一直致力于拓展SLAM算法，但是专注于SLAM算法的实际应用场景中的鲁棒性和光照适应性的开源评价较少．
对于SLAM算法在未知环境中进行实际应用的鲁棒性、光照适应性的研究亦显得十分重要．LOAM（Lidar Odometry and Mapping）算法和RTAB-MAP（Real-Time Appearance-Based Mapping）分别适用于激光雷达和深度相机SLAM，算法运行效率高且稳定性强，被广泛应用于实际场景．本文分别在明亮的高辨识环境和黑暗的低辨识环境下进行激光SLAM和视觉SLAM实验，通过提取特征量的方式对LOAM算法和RTAB-MAP算法的效率进行对比分析，进一步探究SLAM算法在实际应用环境中的鲁棒性和光照适应性，为提高SLAM算法的落地质量和效率提供数据参考．本文采用的无人驾驶小车实验测试平台同时搭建了激光雷达和深度相机传感器，底盘为四驱控制，处理器为Jetson-nano．
1 激光SLAM算法原理
本文采用常用的LOAM算法进行激光SLAM实验．如图1所示，LOAM算法从采集到的点云数据中提取锐利的特征边和平整外表特征，通过采集点或线的特征匹配来估计激光雷达的运动．LOAM算法的核心步骤包括特征提取和位姿估计^[19]．
图1 激光SLAM系统框架
Fig.1 Lidar SLAM system framework
1.1 特征提取
在确定和提取特征点时，LOAM算法提取点云集中的边缘点和平面片点的具体操作为:假设第k次扫描获得点云P_k，采集P_k中一特征点i，坐标记为X_（_k_，_i_），在i的邻域内取点j，坐标记为X_（_k_，_j_），记点j的集合为S，则点i处局部曲面的曲率c定义为

c = \frac{1}{| S | ∥X_{(k, i)}∥} ∥\sum_{j \in S, j \in i} (X_{(k, i)} - X_{(k, j)})∥,

(1)

其中，|S|表示集合S内所含点的个数，实验取值为5．在本文实验中提取特征遵循边缘点为曲率c最大的点，平面片点为曲率c最小的点的原则，将曲率c大于0.005的点作为边缘点，曲率c小于0.005的点作为平面片点．
为了使提取的特征点明显且分布均匀，将整个区域划分成无数个子区域，每个子区域内最多含有2个边界点和4个平面片点，这就保证了特征点数量不超过子区域数量^[20]．在提取特征点时需避免几种情况:1）为了不影响整体点集，要避免提取局部平面与激光束大致平行的点，如图2上图中的B点; 2）为了提高检测效率，避免重复检测减少冗余点，要避免提取周围已有特征点的点，如图2下图中的C和F点; 3）为了提高检测有效性，利于特征匹配要避免提取在某帧点云中被遮挡而在另一帧点云中未被遮挡的边界区域的点，如图2下图中的D点．
图2 特征提取的误区示意
Fig.2 Schematic diagram of the points that will not be selected as feature points
1.2 位姿估计
LOAM算法在实时估计载体运动状态时采用线性运动模型．如图3所示，将第k-1次扫描时的起止时间分别记为t_k_-1与t_k，第k次扫描时的起止时间分别记为t_k与t_k₊₁，在t_k_-1至t_k期间得到的点云记为p_k_-1，在t_k至t_k₊₁期间得到的点云记为p_k，将p_k_-1点云集转换到t_k时刻的坐标系上后得到的点云集记为 ${\bar{P}}_{k - 1}$ ．由此，通过 ${\bar{P}}_{k - 1}$ 与p_k进行点云匹配即可完成激光雷达的运动估计．
图3 点云匹配示意
Fig.3 Schematic diagram of point cloud matching
假设无人驾驶设备匀速运动，第k次扫描开始时刻为t_k，当前时刻为t，T_k（t）是时间段[t_k，t]的姿态，T_k（t）包含平移向量 $τ_{k} （ t ） = [t_{x} ， t_{y} ， t_{z}]$ 和旋转角度向量 $θ_{k} （ t ） = {[θ_{x} ， θ_{y} ， θ_{z}]}^{T}$ ，旋转矩阵R_k（t）展开如下:

\begin{matrix} R_{k} (t) = e^{{\hat{θ}}_{k} (t)} = I + \frac{{\hat{θ}}_{k} (t)}{∥θ_{k} (t)∥} s i n ∥θ_{k} (t)∥ + \\ {(\frac{{\hat{θ}}_{k} (t)}{∥θ_{k} (t)∥})}^{2} (1 - c o s ∥θ_{k} (t)∥), \end{matrix}

(2)

其中，e表示自然对数， ${\hat{θ}}_{k} （ t ）$ 是θ_k（t）的对称矩阵．将第k次扫描的点云P_k中任意一点i，j∈P_k的获取时间记为t_（_k_，_i_），那么，[t_k，t_（_k_，_i_）]时间的位姿T_（_k_，_i_）可以通过线性插值计算:

T_{(k, i)} = \frac{t_{(k, i)} - t_{k}}{t - t_{k}} T_{k} (t) .

(3)

需要注意的是，考虑T_k（t）是一个变量，点云P_k中提取的边缘点e_k和平面片点h_k可通过下式进行坐标系转换:

{\bar{X}}_{(k, i)} = R_{(k, i)} X_{(k, i)} + τ_{(k, i)},

(4)

其中，X_（_k_，_i_）表示点云P_k中的边缘点e_k或平面片点h_k， ${\bar{X}}_{（ k ， i ）}$ 表示坐标转换后对应的 ${\bar{e}}_{k}$ 或 ${\bar{h}}_{k}$ ，R_（_k_，_i_）和τ_（_k_，_i_）是T_（_k_，_i_）对应的旋转矩阵和平移向量．
2 视觉SLAM算法原理
本文采用常用的RTAB_MAP算法进行视觉SLAM实验．如图4所示，RTAB-MAP算法本质上是一种与时间和尺度无关的基于图优化的算法．其核心思想是当地图中定位点的数目使得找到定位匹配的时间超过某个设定阀值时，RTAB-MAP算法将WM（Working Memory）中形成闭环可能性小的定位点转移到LTM（Long-Term Memory）中，被转移的定位点不再参与下次闭环检测运算．当检测到一个闭环时，从LTM中重新取回其直接定位点放入WM中用于将来的闭环检测．RTAB-MAP算法的关键包特征签名、权值优化、贝叶斯估计和词袋库更新优化．
图4 视觉SLAM系统框架
Fig.4 Visual SLAM system framework
2.1 特征签名
RTAB-MAP算法使用词袋方法创建图像签名，将t时刻的图像签名记为z_t．完整的图像签名可通过视觉词典中的单词来描述，通过提取图像中SURF特征点构建视觉词汇向量，结合K-Means算法构造单词表．RTAB-MAP选用在线增量方法创建词典，该方法优于传统的预先训练词典法，具有广泛的应用空间．
2.2 权值优化
为了更新获取到的定位点的权重，将当前时刻的定位点L_t的签名z_t与STM（Short Time Memory）中的最后一个定位点的签名z_c进行比较，两者的相似度s衡量方式为

s (z_{t}, z_{c}) = \{\begin{matrix} \frac{N_{pair}}{N_{z t}}, N_{z t} ⩾ N_{z c}, \\ \frac{N_{pair}}{N_{z c}}, N_{z t} < N_{z c}, \end{matrix}

(5)

其中，N_pair表示定位点签名能匹配到单词对的数量，N_zt与N_zc分别对应签名z_t与z_c的总单词数目．如果相似度s（z_t，z_c）超过设定的相似度阈值，则被选择比较的定位点将被转入到L_t中．RTAB-MAP算法在融合后的签名中保留了在签名z_c和z_t中都存在的单词，因此对这两个签名的识别能力较强，而对其他签名的判别能力则较弱．
2.3 贝叶斯估计
RTAB-MAP算法采用贝叶斯估计进行后期的闭环检测，通过估计当前时刻定位点L_t与存储在WM中的定位点之间能够形成一个闭环的概率来检测闭环．
通常，为便于实现闭环检测，将t时刻所有闭环假设的随机变量记为s_t，以s_t=i表示L_t位闭环结点，即在结点处L_t与一个已经被检测的定位点L_i形成闭环．以s_t=-1表示L_t是一个新的定位点，因此，在WM中所有最新定位点在时间索引i的后验概率分布p（S_t|L_t）为

\begin{matrix} p (S_{t} ∣ L^{t}) = ρ p (L_{t} ∣ S_{t}) \sum_{i = - 1}^{t_{n}} (s_{t} ∣ s_{t - 1} = i) \cdot \\ p (S_{t - 1} = i ∣ L_{t - 1}), \end{matrix}

(6)

其中，σ是归一化项，L^t=L_-1，···，L_t是定位点序列，序列L^t仅包含来自WM和STM中的定位点．不同于经典贝叶斯估计中的定长序列L^t，由于新的定位点被不断创建，且WM中的定位点会被转移到LTM中或重新从LTM中取回，因此，式（6）中的L^t长度不断变化．
概率p（L_t|S_t）本质是衡量定位点L_t与定位点s_t的相似度．RTAB-MAP算法采用似然函数γ（S_t|L_t）来区分定位点L_t与不同定位点对应相似值之间差异．根据式（5），将当前定位点L_t与点集中有可能与其形成闭环得定位点s_t进行比较，则得到系列的相似度s_j=s（z_t，z_j），然后，将每个相似度与它们标准差σ之间的差异利用所有不为零的s_i的均值标准化，标准化方式如下:

P (L_{t} ∣ S_{t} = j) = γ (S_{t} ∣ L_{t}) = \{\begin{matrix} \frac{s_{j} - σ}{u}, S_{j} ⩾ μ + σ ， \\ 1, 其 他 . \end{matrix}

(7)

而对于s_t=-1的新的定位点，标准化方式如下:

P (L_{t} ∣ S_{t} = - 1) = γ (S_{t} = - 1 ∣ L_{t}) = \frac{μ}{σ} + 1

(8)

上述计算结果与相似度的均值以及标准差之间的比率有关．如果γ（S_t=-1|L_t）比较大，即L_t并不与WM中某个特定的定位点相似，则σ＜μ，那么L_t是新定位点的可能性较大．
p（S_t|S_t_-1）=i叫做转移模型，是在已知一个s_t_-1的分布条件下用来预测s_t的分布的，这与机器人在时刻t-1到时刻t间的移动是类似的．与p（S_t_-1=-1|L^t^-1）（也就是过滤器中递推的一部分）一起，构成了下一轮闭环检测的置信值（这个置信值本质上计算的是一个全概率，也就是在给定条件下产生某个结果的概率）．转移模型的计算方式如下:
在t-1处闭环形成的前提条件下，t处出现一个新定位点的概率为

P (S_{t} = - 1 ∣ S_{t - 1} = - 1) = 0.9 .

(9)

在t-1处没有闭环形成的前提条件下，t与i形成闭环的概率为

P (S_{t} = i ∣ S_{t - 1} = - 1) = 0.1 / N_{W M}, i \in [0, t_{n}] .

(10)

在t-1与j发生闭环的条件下，t处出现一个新定位点的概率为

P (S_{t} = i ∣ S_{t - 1} = j) = 0.1, i, j \in [0, t_{n}] .

(11)

在t-1与j形成闭环的前提条件下，t与i形成闭环的概率为

P (S_{t} = i ∣ S_{t - 1} = j), i, j \in [0, t_{n}] .

(12)

上述概率由以j为中心的离散高斯曲线定义，即j-16至j+16范围内i不为空时的值．如果之前形成了闭环，那么在拓扑图中有些定位点可能会有超过两个的邻接定位点，则这些邻接定位点可能并不完全都在WM中而是被转移到了LTM中，此时概率会被归一化到0.9．
2.4 词袋库更新优化
完成闭环检测后还需要进一步完善检测词袋库．为了使WM更全面，将LTM中仍然存在的一些闭环概率最高且表现出与WM中的邻近定位点同样特征的定位点直接转移，即取回到WM中．完成取回过程后，则直接用更新后的定位点去更新词袋中的单词．
3 实验与分析
本实验使用微型工业级别的实验小车，如图5所示，该实验小车选择四驱差速转向的控制底盘，车身长30 cm、宽26 cm、高7 cm，自重（质量）约20 kg，在保证安全的前提下其最大负载可至15 kg．将多线激光雷达和深度相机安置在实验平台的顶端，其中相机位于车顶前部，不仅可以扫描拍摄到周围环境，还可以实现载体自定位以及周围环境的建图．在实验小车的中心位置装有IMU姿态传感器，可以融合激光雷达和相机信息优化最终的定位结果和地图．
3.1 实验环境
本实验选择某研究院一楼展览大厅作为实验场地，实验实景如图6所示，大厅平面如图7所示．在实验场地中，有展览桌、展览柜、试验舱、电柜等硬件设备．为了验证SLAM算法的适用性和鲁棒性，通过改变展厅灯、窗帘的开关分别进行明亮与黑暗场景的实验．
图5 小车结构和实物外观
Fig.5 Structure schematic and physical appearance of the experiment cart
图6 大厅实景
Fig.6 Left view (top) and right view (bottom) of the hall to carry out experiment
3.2 评价指标
为了对室内制图结果进行定量评价，本实验首先利用ROS可视化工具展出构建的点云地图，然后采用RVIZ中的量取功能量取特征物或者点的直径、胸径、长度等信息．将连续量测5次的平均值作为测量值d，采用常规的距离测量方式连续量测5次的平均值作为真实值d₀．通过计算测量值与真实值之间的距离偏差及其统计值作为评价标准来衡量实验结果的优劣．n个特征物或者点的量测距离的偏差ε、平均偏差 $\bar{ε}$ 和偏差的中误差m的计算方法如下:

ε = d - d_{0},

(13)

\bar{ε} = \frac{1}{n} \sum_{i = 1}^{n} ∥ε_{i}∥,

(14)

m = \sqrt{\frac{ε ε}{n}}

(15)

如图8所示，本实验场景选取的特征物为展览桌、展览柜、试验舱、电柜等硬件设备，选取的特征点为桌拐点、实验设备角点和脚点．
图7 大厅平面
Fig.7 Floor plan of the hall
图8 特征物与特征点
Fig.8 Feature objects and feature points
3.3 激光SLAM实验与分析
3.3.1 明亮场景下激光SLAM实验
在明亮场景中LOAM算法计算获得的完整点云地图如图9所示，点云地图中部分区域成图效果一般，点云表面较粗糙．整体上点云分布离散不均匀，左边效果较好，右边较差．分析其原因主要是实验采用的16线激光雷达布线少，不能很好地表征视野范围内的物体和区域．
实验中分别量测特征物点云的长宽，量测特征点之间的距离，获得的量测值以及相应的偏差如表1所示．实验测量值与真实值之间存在差异，最大偏差为1.961 m，最小偏差为0.016 m，平均偏差为0.398 m，偏差中误差为0.644 m．此外，由于使用的激光雷达每次只能扫描16个点，加之小车运动过程激光束受到遮挡，实验中出现多处未被测量特征点．
图9 明亮环境下SLAM点云
Fig.9 SLAM point cloud in bright environment
表1 激光雷达在明亮场景下表征物、表征点定量分析
Table1 Quantitative analysis of objects and points acquired by lidar in bright environment
3.3.2 黑暗场景下激光SLAM实验
在黑暗场景中对室内环境进行三维地图构建，LOAM算法计算获得的点云地图如图10所示．黑暗环境下构建的点云地图中粗糙点云数量较多，复杂区域或者遮蔽区域处建立的点云地图效果不明显，点云散射、表面粗糙．其原因除了实验采用的激光雷达布线较低之外，黑暗的环境一定程度上限制了实验小车的行驶，其轨迹无法遍及整个室内区域，进而无法获取完整的室内环境点云信息．
图10 黑暗环境下SLAM点云
Fig.10 SLAM point cloud in dark environment
实验中特征物和特征点的量测值以及相应的偏差如表2所示．实验测量值与真实值之间存在差异，最大偏差为2.004 m，最小偏差为0.021 m，平均偏差为0.477 m，偏差中误差为0.683 m，均大于明亮环境下的偏差统计结果，黑暗环境下实验结果偏差明显增大．
表2 激光雷达在黑暗场景下表征物、表征点定量分析
Table2 Quantitative analysis of objects and points acquired by lidar in dark environment
3.4 深度相机视觉SLAM实验与分析
3.4.1 明亮场景下深度相机视觉SLAM实验
在明亮场景中采用RTAB-MAP算法构建室内环境的三维点云地图，结果如图11所示．虽然大部分区域的点云表面平滑，但部分区域的点云较为粗糙．对于规则物体，其点云表面较为平滑，但对于复杂环境和不规则物体，其点云表面则较为粗糙，点云信息不完整，成图效果较差．
图11 明亮环境下V-SLAM点云
Fig.11 V-SLAM point cloud in bright environment
实验中分别量测特征物点云的长宽，量测特征点之间的距离，获得的量测值以及相应的偏差如表3所示．实验值与真实值之间存在不同程度的差异，最大偏差为1.519 m，最小偏差为0.005 m，平均偏差为0.112 m，偏差中误差为0.203 m．值得注意的是，由于深度相机可快速成像，避免了激光雷达逐点扫描的弊端，实验中相关预选特征点都被测量到．
在采集数据的过程当中，由于选取的特征点或特征物时采用的是人工选取的方式，也就造成了实验对比时选取结果的偏差，进而影响实验偏差; 在进行实测时，采用的是人工距离测量方法，也造成了测量值的人工误差．在明亮的实验环境下，基于深度相机的SLAM点云匹配结果和建图效果明显优于基于16线激光雷达的结果．
表3 深度相机在明亮场景下表征物、表征点定量分析
Table3 Quantitative analysis of objects and points acquired by depth camera in bright environment
3.4.2 黑暗场景下深度相机视觉SLAM实验
在黑暗环境中采用RTAB-Map算法构建的点云地图如图12所示，点云表面粗糙区域较明亮情况下粗糙区域有所增加，主要集中在复杂区域和遮蔽区域．主要原因是由于上述区域内，周围环境信息较为复杂，而黑暗环境又增加了实验车的行驶难度，进而影响相机的摄取效果，由此则影响了区域的最终点云地图，致使该区域下的点云表面变得更为粗糙．
实验中特征物和特征点的量测值以及相应的偏差如表4所示．实验测量值与真实值之间存在差异，最大偏差为 1.154 m，最小偏差为0.005 m，平均偏差为0.143 m，偏差中误差为0.282 m．黑暗环境下实验平台行驶迟缓，导致建图信息不完整而影响建图效果，增加了寻找特征信息的难度，相较于表3中明亮环境下的偏差结果，黑暗环境下获得的实验结果偏差多数明显增大．另外，相对激光雷达测试实验的最终结果，评价指标较低，说明成图精度优于激光雷达后的图精度．
图12 黑暗环境下V-SLAM点云
Fig.12 V-SLAM point loud in dark environment
表4 深度相机在黑暗环境下表征物、表征点定量分析
Table4 Quantitative analysis of objects and points acquired by depth camera in dark environment
4 结论
针对SLAM算法落地时缺乏先验数据支撑以及算法实际应用的鲁棒性和光照适应性研究较少等问题，本文分别在明亮和黑暗两种环境下采用LOAM算法进行了激光SLAM实验，并采用RTAB-MAP算法进行了深度相机视觉SLAM实验．通过对比分析实验，得出在空间较小的室内环境中，基于RTAB-MAP算法的深度相机SLAM建图效果优于基于LOAM算法的16线激光雷达SLAM建图效果，前者具有更好的鲁棒性，光照适应性更强．
本文的SLAM实验扩充了SLAM实际运行数据库，为SLAM算法的实际落地效果提供了结果参考，有利于室内自动驾驶场景的未来研究．
参考文献
- [1] Guo Z Y,Huang Y P,Hu X,et al.A survey on deep learning based approaches for scene understanding in autonomous driving[J].Electronics,2021,10(4):471
- [2] Grigorescu S,Trasnea B,Cocias T,et al.A survey of deep learning techniques for autonomous driving[J].Journal of Field Robotics,2020,37(3):362-386
- [3] Leonard J J,Durrant-Whyte H F.Simultaneous map building and localization for an autonomous mobile robot[C]//IEEE/RSJ International Workshop on Intelligent Robotics and Systems.November 3-5,1991,Osaka,Japan.IEEE,1991:1442-1447
- [4] Davison A J,Reid I D,Molton N D,et al.MonoSLAM:real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067
- [5] Klein G,Murray D.Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality.November 13-16,2007,Nara,Japan.IEEE,2007:225-234
- [6] Engel J,Schöps T,Cremers D.LSD-SLAM:large-scale direct monocular SLAM[M]//European Conference on Computer Vision 2014,Part Ⅱ,LNCS 8690.Springer,Cham,2014:834-849
- [7] Labbé M,Michaud F.RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation[J].Journal of Field Robotics,2019,36(2):416-446
- [8] Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163
- [9] Mur-Artal R,Tardós J D.ORB-SLAM2:an open-source SLAM system for monocular,stereo,and RGB-D cameras[J].IEEE Transactions on Robotics,2017,33(5):1255-1262
- [10] Campos C,Elvira R,Rodríguez J J G,et al.ORB-SLAM3:an accurate open-source library for visual,visual-inertial,and multimap SLAM[J].IEEE Transactions on Robotics,2021,37(6):1874-1890
- [11] Forster C,Pizzoli M,Scaramuzza D.SVO:fast semi-direct monocular visual odometry[C]//2014 IEEE International Conference on Robotics and Automation(ICRA).May 31-June 7,2014,Hong Kong,China.IEEE,2014:15-22
- [12] 马争光,赵永国,刘成业,等.激光和视觉融合SLAM方法研究综述[J].计算机测量与控制,2019,27(3):1-6.MA Zhengguang,ZHAO Yongguo,LIU Chengye,et al.Survey of SLAM with laser-camera fusion sensor[J].Computer Measurement & Control,2019,27(3):1-6
- [13] Smith R C,Cheeseman P.On the representation and estimation of spatial uncertainty[J].The international Journal of Robotics Research,1986,5(4):56-68
- [14] Grisetti G,Stachniss C,Burgard W.Improved techniques for grid mapping with Rao-Blackwellized particle filters[J].IEEE Transactions on Robotics,2007,23(1):34-46
- [15] Kohlbrecher S,Stryk O V,Meyer J,et al.A flexible and scalable SLAM system with full 3D motion estimation[C]//2011 IEEE International Symposium on Safety,Security,and Rescue Robotics.November 1-5,2011,Kyoto,Japan.IEEE,2011:155-160
- [16] Zhang J,Singh S.Low-drift and real-time lidar odometry and mapping[J].Autonomous Robots,2017,41(2):401-416
- [17] Hess W,Kohler D,Rapp H,et al.Real-time loop closure in 2D LIDAR SLAM[C]//2016 IEEE International Conference on Robotics and Automation.May 16-21,2016,Stockholm,Sweden.IEEE,2016:1271-1278
- [18] Shan T,Englot B.Lego-loam:Lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2018:4758-4765
- [19] Lepetit V,Moreno-Noguer F,Fua P.EPnP:an accurate O(n)solution to the PnP problem[J].International Journal of Computer Vision,2009,81(2):155
- [20] 陈贵宾.基于三维激光雷达的自动驾驶车辆高精度地图构建[D].长春:吉林大学,2019.CHEN Guibin.High definition MAP construction for autonomous vehicle based on 3D lidar[D].Changchun:Jilin University,2019

基本信息

中图分类号: TP391.4
文献标识码: A
DOI: 10.13878/j.cnki.jnuist.20220506002

基金信息

2020年无锡市科技发展资金(N202 01011)；
第十六批江苏省“六大人才高峰”高层次人才项目(XYDXX-045)；
江苏省自然科学基金(BK20211037)；

引用信息

稿件历史

收稿日期: 2022-05-06

参考文献

[1] Guo Z Y,Huang Y P,Hu X,et al.A survey on deep learning based approaches for scene understanding in autonomous driving[J].Electronics,2021,10(4):471
[2] Grigorescu S,Trasnea B,Cocias T,et al.A survey of deep learning techniques for autonomous driving[J].Journal of Field Robotics,2020,37(3):362-386
[3] Leonard J J,Durrant-Whyte H F.Simultaneous map building and localization for an autonomous mobile robot[C]//IEEE/RSJ International Workshop on Intelligent Robotics and Systems.November 3-5,1991,Osaka,Japan.IEEE,1991:1442-1447
[4] Davison A J,Reid I D,Molton N D,et al.MonoSLAM:real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067
[5] Klein G,Murray D.Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality.November 13-16,2007,Nara,Japan.IEEE,2007:225-234
[6] Engel J,Schöps T,Cremers D.LSD-SLAM:large-scale direct monocular SLAM[M]//European Conference on Computer Vision 2014,Part Ⅱ,LNCS 8690.Springer,Cham,2014:834-849
[7] Labbé M,Michaud F.RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation[J].Journal of Field Robotics,2019,36(2):416-446
[8] Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163
[9] Mur-Artal R,Tardós J D.ORB-SLAM2:an open-source SLAM system for monocular,stereo,and RGB-D cameras[J].IEEE Transactions on Robotics,2017,33(5):1255-1262
[10] Campos C,Elvira R,Rodríguez J J G,et al.ORB-SLAM3:an accurate open-source library for visual,visual-inertial,and multimap SLAM[J].IEEE Transactions on Robotics,2021,37(6):1874-1890
[11] Forster C,Pizzoli M,Scaramuzza D.SVO:fast semi-direct monocular visual odometry[C]//2014 IEEE International Conference on Robotics and Automation(ICRA).May 31-June 7,2014,Hong Kong,China.IEEE,2014:15-22
[12] 马争光,赵永国,刘成业,等.激光和视觉融合SLAM方法研究综述[J].计算机测量与控制,2019,27(3):1-6.MA Zhengguang,ZHAO Yongguo,LIU Chengye,et al.Survey of SLAM with laser-camera fusion sensor[J].Computer Measurement & Control,2019,27(3):1-6
[13] Smith R C,Cheeseman P.On the representation and estimation of spatial uncertainty[J].The international Journal of Robotics Research,1986,5(4):56-68
[14] Grisetti G,Stachniss C,Burgard W.Improved techniques for grid mapping with Rao-Blackwellized particle filters[J].IEEE Transactions on Robotics,2007,23(1):34-46
[15] Kohlbrecher S,Stryk O V,Meyer J,et al.A flexible and scalable SLAM system with full 3D motion estimation[C]//2011 IEEE International Symposium on Safety,Security,and Rescue Robotics.November 1-5,2011,Kyoto,Japan.IEEE,2011:155-160
[16] Zhang J,Singh S.Low-drift and real-time lidar odometry and mapping[J].Autonomous Robots,2017,41(2):401-416
[17] Hess W,Kohler D,Rapp H,et al.Real-time loop closure in 2D LIDAR SLAM[C]//2016 IEEE International Conference on Robotics and Automation.May 16-21,2016,Stockholm,Sweden.IEEE,2016:1271-1278
[18] Shan T,Englot B.Lego-loam:Lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2018:4758-4765
[19] Lepetit V,Moreno-Noguer F,Fua P.EPnP:an accurate O(n)solution to the PnP problem[J].International Journal of Computer Vision,2009,81(2):155
[20] 陈贵宾.基于三维激光雷达的自动驾驶车辆高精度地图构建[D].长春:吉林大学,2019.CHEN Guibin.High definition MAP construction for autonomous vehicle based on 3D lidar[D].Changchun:Jilin University,2019

地址：江苏省南京市宁六路219号邮编：210044

联系电话：025-58731025 E-mail：nxdxb@nuist.edu.cn

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

面向实际场景SLAM应用的光照适应性研究

Illumination adaptability of SLAM applications in real scenes

摘要

Abstract

关键词

Keywords

0 引言

1 激光SLAM算法原理

1.1 特征提取

(1)

1.2 位姿估计

(2)

(3)

(4)

2 视觉SLAM算法原理

2.1 特征签名

2.2 权值优化

(5)

2.3 贝叶斯估计

(6)

(7)

(8)

(9)

(10)

(11)

(12)

2.4 词袋库更新优化

3 实验与分析

3.1 实验环境

3.2 评价指标

(13)

(14)

(15)

3.3 激光SLAM实验与分析

3.3.1 明亮场景下激光SLAM实验

3.3.2 黑暗场景下激光SLAM实验

3.4 深度相机视觉SLAM实验与分析

3.4.1 明亮场景下深度相机视觉SLAM实验

3.4.2 黑暗场景下深度相机视觉SLAM实验

4 结论

参考文献

基本信息

基金信息

引用信息

稿件历史

参考文献