摘要
针对在室内动态环境中，传统视觉SLAM算法受到大量无意义信息的影响，导致定位精度下降、鲁棒性差的问题，提出一种基于YOLOv8的室内动态场景视觉SLAM——PLYO-SLAM算法.该算法在ORB-SLAM3算法跟踪线程引入EDLines线段检测算法，并新增动态区域检测线程.动态区域检测线程由YOLOv8n-seg实例分割网络组成，实例分割赋予动态场景语义信息并生成动态掩码，同时剔除动态区域点线特征，利用几何约束进一步过滤分割掩码外缺失的动态点特征.使用公开数据集TUM进行实验验证，结果表明，相较于ORB-SLAM3算法，PLYO-SLAM算法在动态环境下的绝对轨迹均方根误差平均降低了75.98%，最高降低96.75%.
Abstract
To address the issue of traditional visual SLAM algorithms being affected by a large amount of meaningless information in indoor dynamic environments,which leads to decreased localization accuracy and poor robustness,a visual SLAM algorithm named PLYO-SLAM,for indoor dynamic scenes based on YOLOv8 is proposed in this paper.The algorithm introduces line segment detection algorithm of EDLines into the tracking thread of ORB-SLAM3 algorithm,and integrates a new dynamic region detection thread consisting of a YOLOv8n-seg instance segmentation network.The instance segmentation provides semantic information to the dynamic scenes and generates dynamic masks,while simultaneously eliminating point and line features within the dynamic regions.Additionally,it further filters out missing dynamic point features outside the segmentation masks by utilizing geometric constraints.Experimental validation was conducted using the publicly available dataset TUM,and the results demonstrate that compared to the ORB-SLAM3 algorithm,the proposed PLYO-SLAM algorithm reduces the RMSE of absolute trajectory in dynamic environments by an average of 75.98%, with a maximum reduction of 96.75%.
Keywords
0 引言
近年来，视觉即时定位与地图构建 [1]（Simultaneous Localization And Mapping，SLAM）作为一种高效的三维重建技术得到广泛关注与快速发展.Davison等[2]在2007年提出的MonoSLAM被认为是第一个实时单目视觉SLAM系统.文献[3]提出的PTAM（Parallel Tracking And Mapping），采用非线性优化作为后端，并行跟踪和地图构建过程，但PTAM只适用于小场景并且在跟踪过程中容易丢失.2015年，文献[4]提出基于PTAM的ORB-SLAM，该方法围绕ORB特征进行姿态估计，通过词袋模型克服了累积误差问题，但在旋转过程中仍存在帧丢失问题.2017年，ORB-SLAM2[5]被提出.而在2021年提出的ORB-SLAM3[6]可在大型和小型场景、室内和室外环境中实时稳定运行，还可支持视觉、视觉-惯性组合导航，并能在使用针孔或鱼眼模型的单目、双目和RGB-D[7]相机上运行.传统SLAM算法在静态和刚性场景中效果良好，但在动态环境中，视觉SLAM系统容易受到运动物体的影响，产生不正确的数据匹配，从而降低摄像机姿态估计的准确性和稳定性，导致跟踪失败，这极大地限制了视觉SLAM算法的应用.
降低移动物体的干扰，以及提高动态场景下的定位精度和鲁棒性，是视觉SLAM领域面临的挑战，也是目前的研究热点.随着深度学习领域的高速发展，有学者将深度学习和动态环境下的SLAM问题结合[8]，依靠语义信息处理动态物体.文献[9]提出一种名为Dyna-SLAM的动态SLAM系统，该系统在ORB-SLAM2中加入Mask R-CNN实例分割算法和多视角几何模块，在不预先了解场景的情况下可以消除动态物体，但算法耗时严重，实时性差.在Detect-SLAM中，文献[10]采用SSD目标检测模型来识别图像帧，通过特征匹配传播运动概率，以增加影响区域，消除动态环境中干扰因素的影响，但Detect-SLAM使用的语义分割网络无法有效区分同类动态物体.文献[11]基于ORB-SLAM2设计了DS-SLAM，采用SegNet神经网络进行语义分割，通过跟踪不同帧间图像的光流来检测运动一致性，并建立语义八叉树地图.文献[12]采用有监督的卷积神经网络对输入图像中的动态物体进行分割，得到语义图像，再从原始图像中提取特征点，根据语义图像剔除动态特征点，保留静态物体特征点.文献[13]利用升级的轻量级目标检测网络生成系统语义信息，并提出一种新的几何方法来过滤检测区域内的动态特征点，有效地提高了系统的实时性.YOLO目标检测网络的出现极大地推动了动态视觉SLAM算法的应用.文献[14]提出一种基于YOLOv5目标检测网络的实时动态视觉SLAM算法，以解决室内动态场景中由动态物体引起的鲁棒性和相机定位精度问题.文献[15]针对室内移动物体造成的干扰，添加改进的轻量级物体检测网络YOLOv4-tiny来检测动态区域，在算法跟踪阶段消除动态区域中的动态特征.文献[16]提出一种新的动态场景视觉SLAM算法——YG-SLAM，该算法创建了独立的动态目标检测线程，并在动态目标检测线程中引入YOLOv5算法用于目标识别，部署在GPU上以加快图像帧识别速度.
在上述研究中，学者们大多只采用深度学习的方法来减少动态物体对定位精度的影响，并没有利用到室内动态环境中丰富的线段.与点特征相比，线特征具有更好的连续性和稳定性，可以更好地应对环境中的运动模糊和遮挡等问题.为了有效提升室内动态环境下视觉SLAM算法的定位精度和系统的鲁棒性，本文提出PLYO-SLAM算法，它在ORB-SLAM3算法的基础上进行改进，将SLAM算法与YOLOv8实例分割网络相结合，通过语义分割生成的动态掩模，剔除动态区域中的点特征，并利用EDLines算法提取线特征，在剔除动态区域中的线特征后，与点特征联合优化定位.
1 系统框架
本文在ORB-SLAM3算法基础上增加一条独立的动态物体检测线程，提出了PLYO-SLAM算法，其系统框架如图1所示.首先，将RGB-D相机获取的RGB图像和深度图像分别传送到前端[17]跟踪线程和动态物体检测线程中，跟踪线程提取ORB点特征和线特征，动态物体检测线程采用YOLOv8n-seg完成对动态物体的实例分割；其次，生成动态掩模，将落在动态掩模内的ORB点特征和线特征判定为动态特征后予以剔除；然后，采用多视图几何约束进一步过滤分割掩码外缺失的动态特征点；最后，去除动态点线特征，输出关键帧，传递给建图线程，进行定位和建图.
2 基于EDLines算法的线特征提取方法
点特征在图像中易于定位和区分，使得数据关联较为容易，所以，基于点特征检测和描述的视觉SLAM系统研究比较成熟.但面对复杂的动态环境尤其视角变化显著时，点特征往往不能保持稳定，而在视觉SLAM系统中加入线特征则能有效改善这个缺陷.文献[18]将LSD[19]（Line Segment Detector）算法和EDLines[20]（Edge Drawing based Line Segment Detector）算法进行对比，结果表明，EDLines算法有较好的直线提取结果，并具有高效性.因此，本文采用EDLines算法来提取线特征.
2.1 线特征表示法
本文采用普吕克坐标法和标准正交表示法来表示线特征.普吕克坐标法是一种对一条直线进行唯一确定的坐标表示方法，也是一种可以表示所有直线的完备表示方法，如图2所示.
图1PLYO-SLAM系统框架
Fig.1PLYO-SLAM system framework
图2普吕克坐标法
Fig.2Plücker coordinates representation
如图2所示的三维空间线可表示为
(1)
式中：v∈R3，表示直线方向向量；n∈R3，表示由和摄像机坐标系原点确定的平面π的法向量.
标准正交表示法由4个参数组成，用于优化，三维空间线可表示为
(2)
式中：U∈SO（3）；W∈SO（2）.SO（n）是包含旋转矩阵R的一种特殊正交群，其定义如下：
(3)
式（2）中：
(4)
(5)
因此，由普吕克坐标法到标准正交表示法的方程可表示为
(6)
式中：为普吕克坐标法表示的线特征；为标准正交表示法表示的线特征.
2.2 基于EDLines算法的线段提取
2.2.1 计算像素的梯度
像素（x，y）处的梯度大小和水平线角度计算公式如下：
(7)
(8)
(9)
(10)
式中：I（x，y）是像素值；g（x，y）是梯度值；θ（x，y）是水平线角度.像素的梯度值为非负数，θ范围为0°~360°.
2.2.2 Edge Drawing检测
利用ED线条检测算法可以提取出干净、连续的线条.ED检测分4个步骤进行边缘检测：
1）使用高斯滤波器输入灰度图像，以抑制噪声并获得平滑图像.
2）根据Sobel算子计算梯度的大小和方向.如果梯度大于梯度阈值，则为边缘像素.
3）边缘像素概率非常高的像素，称为锚点，锚点对应于梯度计算产生最大值的像素，即梯度图的峰值.
4）从锚点开始，连接下一个锚点，得到边缘线段.
2.2.3 线段检验
线段检验是在原图的基础上进行的，即将ED检测出来的线叠加在原图上，其主要方法是计算出每条线段的NFA（Number of False Alarms）值.NFA表示从长度为n的线段上筛选i个像素点，这些像素点的梯度同方向的概率，计算公式如式（11）所示.如果NFA（n，k）≤1，则认为线段有效，否则认为是无效线段，将其剔除.
(11)
式中：N4表示潜在线段的数量；n表示线段的长度；k表示某线段上的像素梯度方向与该线段方向一致的像素点数量；p表示像素梯度方向与线段方向一致的概率.
EDLines有3个主要参数α、β和γ，分别表示梯度阈值、锚点阈值和扫描间隔的值.本文设置α为32以提取出更明显的边缘线段；设置β为16，使检测出的线段更加平滑，减少小的波动和噪声的影响；设置γ为4以消除短线段.将线间距设置为15像素，使线段均匀分布，以确保线段分布不会过于密集.
3 基于YOLOv8的动态点线特征剔除模块
3.1 YOLOv8n-seg实例分割网络
YOLOv8由YOLOv5的研发团队在2023年1月提出，它通过引入去耦机头结构和C2f结构等大大提高了检测精度，是YOLO[21]系列的延续.与YOLOv8目标检测模型相比，YOLOv8-seg实例分割模型在头部结构中具有原型掩码分支和掩码系数，用于生成实例掩码[22].YOLOv8-seg分为YOLOv8n-seg、YOLOv8s-seg、YOLOv8m-seg、YOLOv8l-seg和YOLOv8x-seg五种型号，本文选择参数量最小且检测速度最快的YOLOv8n-seg作为基线模型.
YOLOv8n-seg将目标检测和语义分割结合在一起，以实现对图像中目标的定位和像素级别的分类.如图3所示，其网络结构主要由Input、Backbone和Head三个模块组成.Input模块负责接收和预处理输入图像数据，为后续的网络操作提供正确格式的输入.Backbone模块用于提取输入图像的特征，由卷积层、池化层和残差连接组成，能够从图像中提取出高层次的特征.YOLOv8用C2f模块取代了YOLOv5的C3模块，并引入Head模块的解耦结构，负责将分类头和检测头分开，从Anchor-Based转向Anchor-Free.
本文选用MS COCO数据集（https://cocodataset.org/）对YOLOv8n-seg模型进行训练，MS COCO由微软研究院于2014年发布，是计算机视觉领域的重要基准数据集之一.MS COCO数据集拥有超过33万张图像，涵盖80个常见的对象类别，如人、动物、桌子、椅子、电脑等，也包含室内环境下的常见动态物体.
3.2 动态点线特征剔除
ORB-SLAM3中的RANSAC（RANdom SAmple Consensus）算法只能消除小对象中的某些动态点，无法处理有大量运动目标的高动态场景.为了能够处理动态对象，在PLYO-SLAM算法中配置了基于YOLOv8n-seg的实例分割剔除模块.本文算法能够在系统提取ORB点特征和线特征时，尽可能快地完成实例分割，保证了系统的实时性.
3.2.1 动态物体分割
在RGB-D图像输入到动态物体检测线程后，采用YOLOv8n-seg完成对动态物体的实例分割，并覆盖不同颜色的掩模（Mask）.在点线特征剔除阶段，将落在动态掩模内的ORB点特征和线特征判定为动态特征后予以剔除.图4a为未剔除动态区域点线特征的特征分布，图4b为剔除动态区域点线特征后的特征分布，可以看到动态区域的特征点线都已经被剔除.
图3YOLOv8n-seg网络结构
Fig.3YOLOv8n-seg network structure
图4动态点线特征剔除
Fig.4Removal of dynamic point and line features
3.2.2 几何约束
本文利用多视图几何约束进一步过滤分割掩码外缺失的动态特征点，其检测动态特征点的原理是用多帧图像的位姿约束，剔除误差较大的特征点.如图5所示：In和In+1为相邻帧；x和x′表示在动态物体上观察到相同的三维点；O和O′表示光心；e，e′和l，l′分别表示极外点和极外线；表示静态特征点P′的期望观测值；深度信息（depth，d）由RGB-D相机拍摄获取.
图5RGB-D的多视图几何约束示意
Fig.5Multi-view geometric constraints for RGB-D
在RGB-D情况下，多视角几何图形可以表示为
(12)
式中：d1和d2分别为两帧中P点的深度；x和表示P在两帧中的归一化坐标.当|d2-d|或|x′-|超过阈值时，将视为动态点.
在本文实验中，当像素的欧氏距离（Euclidean Metric）超过4或深度差超过0.1 m时，特征点将被去除，其中4和0.1为经验参数.阈值较大时，动态特征点难以去除；阈值较小时，静态特征点被过滤掉.
4 实验对比与分析
4.1 实验环境
本文实验的软件环境为Ubuntu 18.04，硬件配置为Intel（R）Core（TM）i5-12490F CPU @ 3.00 GHz，运行内存16 GB、NVIDIA Ge-Force RTX 3060Ti GPU，显存8 GB.SLAM系统使用C++编写、cmake工程编译.实例分割网络使用Python编写，使用C++调用Python接口实现其功能.
实验选取TUM RGB-D数据集（https://cvg.cit.tum.de/data/datasets/rgbd-dataset/download）中的sitting_halfsphere、sitting_xyz、walking_halfsphere、walking_rpy、walking_static和walking_xyz 6组动态数据集进行测试.其中，前缀为sitting的数据集是低动态场景，场景中人物处于坐着或缓慢移动的状态，相机的运动以及周围环境的变化较为缓慢.而前缀为walking的数据集是高动态场景，场景中人物处于行走状态，相机随着人物的行走产生更多的移动，周围环境的变化也会更加复杂.
4.2 与ORB-SLAM3的对比实验与分析
在评估视觉SLAM系统时，通常采用绝对轨迹误差（Absolute Trajectory Error，ATE）作为性能指标，并将绝对轨迹的均方根误差（RMSE）、平均误差（Mean）、中位数误差（Median）作为评价精度的标准.本文的PLYO-SLAM算法是基于ORB-SLAM3算法改进的，因此对2种算法进行性能对比分析.在实验过程中，2种算法在选取的6组数据集中分别运行不少于3次，并记录实验结果的平均值.
表1为PLYO-SLAM算法与ORB-SLAM3算法的绝对轨迹误差结果对比.误差降低率计算式为
(13)
式中：eorb为ORB-SLAM3算法运行结果；eplyo为PLYO-SLAM算法运行结果.
如表1所示，PLYO-SLAM在6组动态数据集中的各项精度指标均优于ORB-SLAM3，RMSE平均降低75.98%，最高降低96.75%.其中，4组高动态场景的RMSE平均降低了94.61%，2组低动态场景的RMSE平均降低38.72%.由此可见，在去除动态物体对SLAM系统的影响后，动态场景下的定位精度有所提高，且在高动态场景中的提升更为显著.
视觉SLAM的最终目的是建图，在建图中，计算轨迹和真实轨迹的误差大小能够反映出SLAM算法性能的好坏.在轨迹误差的对比时，本文利用EVO（https://github.com/MichaelGrupp/evo）轨迹精度评估工具将不同算法生成的轨迹文件和数据集中提供的真实轨迹文件进行评估，并进行可视化表达.ORB-SLAM3和PLYO-SLAM的计算轨迹与真实轨迹的误差的对比结果如图6所示.图中的灰色虚线表示相机的真实轨迹，蓝色线条表示ORB-SLAM3的计算轨迹，红色线条表示PLYO-SLAM的计算轨迹.由图6可以发现，红色线条更接近真实轨迹，即PLYO-SLAM的计算轨迹与相机的真实轨迹更加接近.
walking_halfsphere数据集的XYZ轴误差、RPY轴旋转角对比分别如图7、8所示.XYZ轴轨迹表示相机在三维空间中的移动路径，X、Y、Z分别对应三维空间中的水平、垂直和深度方向的位置信息.RPY轴旋转角表示相机绕固定坐标系中的3个轴（Roll、Pitch、Yaw）旋转的角度.Roll表示绕X轴旋转的角度，Pitch表示绕Y轴旋转的角度，Yaw表示绕Z轴旋转的角度.
图6ORB-SLAM3和PLYO-SLAM的轨迹误差对比
Fig.6Comparison of trajectory errors between ORB-SLAM3 and PLYO-SLAM
从图7和图8的红色方框中可以看出，ORB-SLAM3出现了特征点跟踪失败情况，计算轨迹严重偏离，而PLYO-SLAM的计算轨迹在坐标轴中始终与真实轨迹保持一致.
为了进一步分析实验结果，将ORB-SLAM3和PLYO-SLAM的计算轨迹的绝对估计误差可视化，分别如图9和图10所示.可以看出，ORB-SLAM3的离散系数超过PLYO-SLAM，ORB-SLAM3的最大误差也更大.由此可见，PLYO-SLAM在动态场景中显著提高了定位精度.
4.3 与其他动态SLAM算法的对比实验与分析
将PLYO-SLAM与动态环境下另外两种优秀的视觉SLAM算法DS-SLAM和DynaSLAM进行对比实验，结果如表2所示.从表2中数据中可以发现PLYO-SLAM算法仅在walking_rpy数据集中RMSE略高于DynaSLAM，在其他3组数据集中PLYO-SLAM算法的表现均优于DS-SLAM和DynaSLAM算法.
表1绝对轨迹误差结果对比
Table1Comparison of absolute trajectory error results
图7XYZ轴轨迹对比
Fig.7Trajectorycomparison along the X, Y, and Z axes
图8RPY轴旋转角对比
Fig.8Comparison of RPY rotation angles
图9ORB-SLAM3算法绝对估计误差分布
Fig.9Absolute estimation error distribution of ORB-SLAM3 algorithm
图10PLYO-SLAM算法绝对估计误差分布
Fig.10Absolute estimation error distribution of PLYO-SLAM algorithm
表2不同方法的绝对轨迹均方根误差
Table2Absolute trajectory RMSE with different algorithms
4.4 消融实验
为了定量分析PLYO-SLAM算法中引入的线特征的性能影响，本文进行消融实验.将未引入线特征，仅采用YOLOv8n-seg实例分割网络剔除动态区域的点特征的算法定义为YOLO-SLAM.将YOLO-SLAM算法与PLYO-SLAM算法进行对比试验，仍选取在上节中的6组数据集进行实验，结果如表3所示.PLYO-SLAM算法有5组图像序列的RMSE值低于YOLO-SLAM算法，最大降低74.26%，平均降低达到24.70%.由此可见，线特征的引入提高了SLAM系统在室内动态环境下的定位精度.
5 结论
本文提出一种基于深度相机的视觉SLAM算法——PLYO-SLAM算法，能够有效提高视觉SLAM系统在室内动态环境下的定位精度.该算法在跟踪过程中加入了基于EDLines算法的线特征提取方法，在传统ORB-SLAM3算法的基础上，增加了独立的物体检测模块和动态点线特征消除步骤.使用TUM RGB-D数据集验证本文算法，实验结果表明，与ORB-SLAM3算法相比，PLYO-SLAM算法的绝对轨迹均方根误差在6组数据集下平均降低75.98%，最高降低96.75%.本文仅选用MS COCO数据集对YOLOv8n-seg网络进行训练，所以在包含相机旋转的动态场景中检测效果较差.后续，将使用更丰富的图像数据对YOLOv8n-seg网络进行训练，提高系统在更复杂室内动态场景的定位精度.
表3绝对轨迹均方根误差
Table3Absolute trajectory RMSE
