0 引言

电动车以节能、轻便、速度快等特点受到人们的青睐，越来越多的人在出行时选择电动车作为交通工具^[1]．我国电动车社会保有量已经接近3亿辆．与此同时，与电动车相关的各类交通违法问题层出不穷，骑车不戴头盔的问题尤为突出．佩戴头盔可以对电动车骑行者起到很好的保护作用．2020年4月，“一盔一带”安全守护行动在全国各地开展，行动期间，公安交管部门将加强执法管理，依法查纠摩托车、电动自行车骑乘人员不佩戴安全头盔、汽车驾乘人员不使用安全带行为，助推养成安全习惯^[2]．

头盔与车牌检测分为传统检测方法和基于深度学习的检测方法两大类^[3-7]．如今比较流行的检测方法为后者，研究人员提出了多种深度学习框架（如R-CNN^[8]、Fast-RCNN^[9]、Faster-RCNN^[10-11]、EfficientDet^[12]、SSD^[13]、YOLO^[14-17]），用于解决头盔与车牌检测问题．例如:薛瑞晨等^[18]采用通道和空间注意力模块的加权特征融合并结合密集连接网络，引入空间金字塔池化结构以增强特征，从而提高了模型对电动车头盔的检测精度; 金雨芳等^[19]在YOLOv4算法的3个特征图输出的基础上增加了128×128特征图输出，再对特征融合模块进行改进以实现特征重用，从而得到更好的安全帽检测分类结果; 刘琛等^[20]在SSD-Net引入类似视觉机制的模块并增加了类似人类视觉偏心率机制的RFB模块，使用Mosaic方法进行数据增强并采用余弦衰减学习率来优化网络，改进后的网络对头盔佩戴检测具有更好的应用效果; Min等^[21]使用 K-means++聚类算法来选择最佳数量和大小的车牌候选框，修改YOLOv2模型的结构和深度，使得算法可以有效地将车牌与相似物体进行区分; 王燕等^[22]使用了Faster RCNN的总体架构，再融合Inception ResNet_v2网络进行特征提取以及最终的分类回归，得到精确的车牌定位效果; 徐光柱等^[23]通过扩展YOLOv3网络的输出维度，增设车牌顶点相对于矩形检测输出框角点的偏移量损失，从而准确检测车牌顶点．

目前，大部分关于电动车检测的方法要么是对电动车骑行者头盔佩戴情况进行检测，要么是对电动车车牌进行检测，同时进行头盔和车牌检测的方法较少．本文对YOLOv5模型进行改进，首先用DIOU损失函数代替GIOU损失函数，DIOU_NMS代替加权NMS，同时在Backone部位与预测中小目标的Neck部位加入ECA注意力机制，接着用K-means算法对锚框尺寸重新进行聚类，最后，改进Mosaic数据增强方式．通过在自建电动车骑行者头盔与车牌检测数据集上进行训练，结果表明改进后的YOLOv5m模型对密集场景以及中小目标的识别率明显提升，可以更加准确地检测出未佩戴头盔的骑行者及其电动车车牌号，并可根据车牌号向未戴头盔骑行者进行追责．改进后的 YOLOv5m 模型在大样本、多场景数据集训练的基础上，可考虑向交通监管部门推广．

1 YOLOv5m网络框架

YOLO模型从YOLOv1到YOLOv5经过5个版本的更新．YOLOv5模型对输入端输入的数据集进行Mosaic数据增强，提升了模型对图片中小目标物体的识别率．YOLOv5模型具有识别率更高、识别速度更快的优点，它在Microsoft COCO官方对象检测数据集上取得了较好的结果，适用于电动车骑行者头盔与车牌检测．

YOLOv5模型分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 4个不同深度与宽度的网络．其中，YOLOv5s网络的深度与宽度最小，YOLOv5x网络的深度与宽度最大．随着网络深度与宽度的增大，模型识别准确率越高、运行速度越慢．本文折中选择准确率较高、运行速度较快的YOLOv5m模型对电动车骑行者头盔与车牌进行检测．

输入端、Backbone、Neck、Prediction 4个部分共同组成了YOLOv5m模型的网络框架（图1）．YOLOv5m模型整体网络框架与v3、v4版本一致，但每部分中内容并不相同．

1）输入端部分对输入的自建电动车骑行者头盔与车牌检测数据集进行Mosaic数据增强与自适应图片缩放等操作．

2）Backbone部分由Focus与CSP等结构组成．Focus结构为YOLOv5m模型在YOLO系列模型中独有的结构．若输入Backbone的自建电动车骑行者头盔与车牌检测数据集为640×640×3的图片，Focus结构先把图片切片为320×320×12的特征图，再用32个卷积核对特征图进行卷积，320×320×12的特征图将会卷积成为320×320×32的特征图．模型不仅在Backbone部分添加CSP1_X结构，还创新性地在Neck部分添加CSP2_X结构，极大地减少了模型的运算量．

3）Neck部分由FPN与PAN结构组成．FPN从上向下对上层的强语义信息进行上采样，与不同层的输出进行特征聚合．PAN自下而上的特征金字塔传递强定位信息．

4）Prediction部分包含损失函数和非极大值抑制（NMS）．损失函数和NMS按照一定的规则在模型生成的众多头盔与车牌预测矩形框中为模型筛选出最为准确的预测矩形框．YOLOv5m选择GIOU作为损失函数，GIOU相对于IOU解决了模型生成的部分预测矩形框与图片标注的真实矩形框之间存在距离、不相交时损失为0的情况．同时，YOLOv5m模型采用加权NMS对模型生成的所有预测矩形框进行筛选，选出预测效果最好的预测矩形框作为预测结果．

2 改进的YOLOv5m电动车骑行者头盔与车牌检测方法

2.1 损失函数

YOLOv5m模型采用GIOU作为模型的损失函数，GIOU解决了IOU对电动车骑行者头盔与车牌预测矩形框与标注矩形框之间因没有相交而无法优化的问题^[24]．如图2所示，若预测矩形框为C，标注矩形框为D，E为C、D两个矩形框的最小外接矩形，则GIOU损失函数的表达式如下:

当预测矩形框在标注矩形框内部时，GIOU将会退化为IOU，GIOU与IOU筛选预测矩形框时会得到相同的结果，GIOU将无法确认预测矩形框的具体坐标．即M∪N=M，其中，M表示电动车骑行者头盔与车牌的标注矩形框，N表示电动车骑行者头盔与车牌的预测矩形框．预测矩形框与标注矩形框包含情况如图3所示．

因此，本文引入DIOU损失函数代替GIOU损失函数，DIOU在计算预测矩形框与标注矩形框之间重叠损失的同时也将计算预测矩形框与标注矩形框之间的中心距离．DIOU用$\frac{{\rho }^2\left(b，b^{gt}\right)}{c^2}$代替GIOU中的$\frac{|E-（C\cup D）|}{\left|E\right|}$，解决了GIOU在预测矩形框与标注矩形框包含时无法确认预测矩形框具体坐标的问题，从而提高模型的收敛速度．DIOU计算公式如下:

其中，${\rho }^2\left(b，b^{gt}\right)$表示预测矩形框与标注矩形框中心点之间的欧氏距离，c表示能够同时包含预测矩形框和标注矩形框的最小闭包区域的对角线距离，b、b^gt分别表示预测矩形框与标注矩形框的中心点，C表示预测矩形框，D表示标注矩形框．

2.2 注意力机制

在电动车骑行者头盔与车牌检测过程中模型会提取很多无关特征，无关特征对模型识别目标造成一定的干扰．本文通过引入注意力机制加强模型对电动车骑行者头盔佩戴情况与电动车车牌的主要特征进行学习，减弱模型对无关特征的学习，使得模型更为关注想要识别目标的信息，从而提高模型对电动车骑行者头盔佩戴情况与电动车车牌的识别率．常用的注意力机制主要有SE注意力机制、ECA注意力机制等．本文选用的注意力机制为ECA注意力机制．ECA注意力机制在SE注意力机制的基础上进行了改进，该注意力机制拥有较少的参数，相对于SE注意力机制更为轻量化^[25]．ECA注意力机制是一种不降维的局部跨信道交互策略，将SE注意力机制的全连接层用一维卷积代替，一维卷积不仅不对模型提取特征的通道进行降维处理还加强了局部特征通道之间的交流．

模型将提取的特征图输入ECA注意力机制模块，特征图X首先经过全局平均池化层（GAP）得到1×1×C的特征矩阵，其中C为特征通道数，接着经过卷积核大小为K的一维卷积得到输出特征矩阵，之后用Sigmoid激活函数得到通道的权重值，最后将通道的权重值与特征图X相乘，从而使得图片主要特征拥有较大的权重值，得到模型更多的关注，无关特征拥有较小的权重值，得到模型较少的关注．ECA注意力机制的结构如图4所示．

本文所需识别的电动车骑行者头盔佩戴情况与电动车车牌相对于整张图片较小，均属于中、小目标，因此，本文在模型的Backone部位与预测中、小目标的Neck部位加入ECA注意力模块，引导模型更加关注中、小目标信息的特征，减少模型对无关特征的关注，以提升模型对中、小目标的检测性能．

2.3 锚框优化

由于模型所使用的初始锚框尺寸是针对coco数据集进行检测的锚框尺寸，并不适用于模型对所有数据集进行检测，部分数据集使用初始锚框尺寸可能达不到最佳检测效果，本文采用K-means聚类算法重新设计电动车骑行者头盔与车牌检测数据集的初始锚框尺寸，得到9组锚框尺寸如表1所示．聚类所得的初始锚框尺寸将进一步提高检测的准确率．

2.4 改进的Mosaic数据增强

YOLOv5模型中使用Mosaic数据增强方式对数据进行增强.Mosaic数据增强在输入的数据集中选取4张图片进行随机剪裁、随机放缩、随机排布的方式拼接到一张图片上，送入模型进行训练．这样不仅丰富了头盔与车牌检测的背景信息，还让待检测的头盔与车牌变得更小，加强模型对小目标物体的学习．由于本文所需检测的头盔与车牌均属于中、小目标，为了能够更好地检测到头盔与车牌，本文对Mosaic数据增强进行改进，将原Mosaic数据增强中的4张图片改为9张图片，Mosaic数据增强在输入的数据集中选择9张图片进行随机剪裁、随机放缩、随机排布的方式拼接到一张图片上．改进的Mosaic数据增强方式使得模型对小目标的检测效果更好，改进效果图5所示．

2.5 非极大值抑制

原YOLOv5m模型非极大值抑制采用加权NMS的方式去筛选头盔与车牌预测矩形框．加权NMS中使用IOU作为筛选头盔与车牌预测矩形框的指标，IOU仅根据模型生成预测矩形框之间的重叠区域来进行判断，在骑行者密集情况下模型会检测出很多个电动车骑行者头盔与车牌的重叠区域并且彼此距离较近，NMS容易形成错误的判断．本文用DIOU_NMS来代替NMS，即将DIOU代替原来的NMS 中的IOU，DIOU_NMS相较于NMS可以根据预测矩形框之间的中心距离来进行判断，从而降低电动车骑行者密集情况下对未带头盔骑行者头部及其电动车车牌漏检率．

3 实验与结果分析

3.1 数据集采集与处理

3.1.1 数据采集与增强

本文选择南京信息工程大学周围街道与交通路口作为研究背景，对骑行的电动车进行拍摄采集，对南京地区电动车骑行者头盔与车牌检测进行研究，在检测出骑行者未佩戴头盔的同时还能检测出其电动车车牌，对于无车牌的电动车，则只能检测出骑行者未佩戴头盔部位，并采用高像素的摄像头进行拍摄，避免出现较多车牌不清晰的图片．首先，本文对骑行的电动车进行拍摄，拍摄电动车骑行者在交通路口骑行与街道骑行时的视频、拍摄电动车骑行者在交通路口等红绿灯与骑行时的图片．接着对拍摄的视频利用视频软件进行人工截取，截取出画面较为清晰的电动车骑行图片，将截取的电动车骑行图片与人工拍摄的图片混合在一起．最后为了保证拍摄图片质量，对拍摄的图片进行多次人工筛选，剔除画面模糊、拍摄距离较远等拍摄质量较差的图片．本文共筛选出1 581张电动车骑行者图片．

针对拍摄数据集数量不充足以及样本不均衡的问题，本文通过对拍摄的电动车骑行者图片添加高斯噪声、改变图片亮度、随机裁剪、随机旋转等数据增强算法，对拍摄的数据集进行了扩充．扩充后的图片与原图片呈现出不同的特征，有效地扩大了数据集．扩充后共有2 765张图片，建立电动车骑行者头盔与车牌检测数据集．数据增强效果图6所示．

3.1.2 数据集的标注与划分

电动车骑行者头盔与车牌检测数据集将确定骑行者未佩戴头盔部位与电动车车牌作为识别目标，电动车骑行者未佩戴头盔部位标注为类别0，标注名称为 No Helmet．电动车车牌标注为类别1，标注名称为c．采用Make Sense网页作为训练集与测试集样本标注工具，将数据集标签输出为YOLO格式的txt文件，文件包括识别目标的类别（0或1）、位置信息（识别目标的中心点坐标、标注矩形框的长度与宽度）以及图像名称．本文分别把在街道拍摄视频截取的图片、交通路口拍摄视频截取的图片、交通路口拍摄电动车骑行者骑行的图片、交通路口拍摄电动车骑行者等红绿灯的图片按比例进行划分，得到较为均衡的数据集划分，可以让模型对各种场景拍摄的图片进行充分的训练，使得模型更好地识别各种拍摄场景下电动车骑行者的违规行为．将标注好的数据集中2 106张图片划分为训练集，其余659张图片用做测试集．

3.2 训练参数设置

在对改进的YOLOv5m电动车骑行者头盔与车牌检测模型的训练中，设置epochs=300，模型运行300轮后停止训练．300轮模型训练结果保存在模型文件夹下的txt文件中，batch_size=20，即每个批次送入模型20张图片进行训练，完成一轮训练需要106个批次．模型部分训练参数表2所示．

3.3 评价指标

本文通过mAP值来衡量模型对电动车骑行者头盔与车牌检测效果的优劣．mAP即为平均准确率，将头盔的AP与电动车车牌的AP求平均值得到，能够反映头盔与电动车车牌的平均检测水平，mAP值越大越好，最大为100%．AP为以准确率P（Precision）和召回率R（Recall）所围成的曲线面积值．准确率与召回率分别如下:

其中，TP代表正确预测矩形框的数量，FP代表错误预测矩形框的数量，FN代表预测矩形框漏检的数量．本文最终所得mAP值为300轮训练中效果最好的一轮mAP值．

本文利用自建电动车骑行者头盔与车牌检测数据集，在使用相同参数的情况下，分别对改进的YOLOv5m电动车骑行者头盔与车牌检测模型与原YOLOv5m模型进行300轮的训练，每经过一轮训练模型保存一次训练结果，共保存300次训练结果，所得mAP变化曲线如图7所示（黄色曲线表示改进模型，蓝色曲线表示原模型）．由图7可知，改进的YOLOv5m电动车骑行者头盔与车牌检测模型mAP值较原YOLOv5m模型有较大的提升．

3.4 实验结果分析

为了能够更好地验证改进的YOLOv5m模型相较于原YOLOv5m模型的提升效果，本文使用部分电动车骑行者头盔与车牌检测数据集对模型进行测试．图8为原YOLOv5m模型与改进的YOLOv5m模型测试效果，其中，图8a、c为原YOLOv5m模型测试效果，图8b、d为改进的YOLOv5m模型测试效果．改进的YOLOv5m模型用DIOU损失函数代替GIOU损失函数，DIOU_NMS代替加权NMS，增强了模型对密集骑行者的识别能力．图8a在骑行者密集的情况下漏检了未佩戴头盔的电动车乘坐者，图8b成功检测出了所有的目标，改进的YOLOv5m模型在骑行者密集的情况下增加了对漏检车牌的识别．模型加入ECA注意力机制，用K-means算法对锚框尺寸重新进行聚类，改进Mosaic数据增强方式使得模型更加关注中、小目标，识别效果更好．图8c在骑行者密集的情况下漏检了一张未佩戴头盔骑行者的小目标车牌，图8d检测的所有目标均为正确目标，改进的YOLOv5m模型减少了对目标的错误识别，对中、小目标的识别率得到有效提高．

为了能够验证各种改进方式对原YOLOv5m模型检测效果的影响，本文在自建电动车骑行者头盔与车牌检测数据集（如需获取该数据集，可与本文作者联系）上对原YOLOv5m模型进行消融实验，依次在原YOLOv5m模型的基础上运用各种改进方式．YOLOv5m1表示用 DIOU 损失函数代替 GIOU 损失函数，增强模型对密集骑行场景的识别能力; YOLOv5m2表示在原模型中引入ECA注意力机制，使得模型更加关注中、小目标; YOLOv5m3表示对原模型数据集重新进行聚类，经过聚类后得到的锚框尺寸能够达到最佳检测效果; YOLOv5m4表示对原模型的Mosaic数据增强进行改进，改进后的模型对小目标识别效果更好．与原YOLOv5m模型相比，YOLOv5m1、YOLOv5m2、YOLOv5m3与YOLOv5m4的mAP值分别提高了0.9、1.1、0.45和0.72个百分点．YOLOv5m5表示在YOLOv5m1的基础上引入注意力机制; YOLOv5m6表示在YOLOv5m5的基础上重新聚类得到新的锚框尺寸; YOLOv5m7表示在YOLOv5m6的基础上改进Mosaic数据增强．与原YOLOv5m模型相比，YOLOv5m5、YOLOv5m6、YOLOv5m7的mAP值分别提高了1.53、1.91和2.15个百分点．消融实验证明这4种改进方式运用在原YOLOv5模型上均有不错的检测效果，并且运用的改进方式越多检测效果越好，将4种改进方式全部运用到原YOLOv5m模型中达到的效果最好，mAP值提高了2.15个百分点，模型大小仅比原模型大0.1 MB，消融实验结果表3所示．

为了验证本文所提出的改进的YOLOv5m电动车骑行者头盔与车牌检测模型相较于其他模型拥有更好的检测效果，在改进的YOLOv5m电动车骑行者头盔与车牌检测模型与原 YOLOv5m 模型对比的基础上还与当前运行速度较快、识别准确率较高的Faster RCNN模型、YOLOv3模型、YOLOv4-tiny模型、YOLOX模型以及YOLOv7模型进行了对比，各个模型均利用自建电动车骑行者头盔与车牌检测数据集进行训练，模型训练结果用mAP值作为评价指标．本实验操作系统版本为Ubuntu 18.04.6，显卡为Tesla T4，深度学习框架为PyTorch，采用Python作为编程语言．改进的YOLOv5m电动车骑行者头盔与车牌检测模型与其他模型检测性能对比如表4所示．

分析表4可知，改进的YOLOv5m电动车骑行者头盔与车牌检测模型mAP值为92.7%，相对于原YOLOv5m模型提升了2.15个百分点，相较于Faster RCNN模型、YOLOv3模型、YOLOv4-tiny模型、YOLOX模型以及YOLOv7模型mAP值分别提升了6.9、6.74、5.7、1.8以及1.98个百分点，并且模型大小较小、实时性较高．根据对比结果，改进的YOLOv5m电动车骑行者头盔与车牌检测模型对密集场景以及中、小目标的检测效果更好，识别率更高．

4 结论

为了增加电动车骑行者头盔与车牌检测的识别率，本文提出了一种改进的YOLOv5m电动车骑行者头盔与车牌检测模型，模型主要针对原YOLOv5m模型的损失函数与预测框筛选函数进行了改进，用DIOU损失函数代替GIOU损失函数，DIOU_NMS代替加权NMS，同时在Backone部位与预测中、小目标的Neck部位加入ECA注意力机制，用K-means算法对锚框尺寸重新进行聚类，得到适合头盔与车牌检测的锚框尺寸，改进Mosaic数据增强方式．随后，将改进的YOLOv5m模型用于自建数据集的测试，实验结果表明:改进的YOLOv5m电动车骑行者头盔与车牌检测模型相较于其他对比模型对密集场景以及中、小目标的检测能力更强，识别率更高，较未改进的YOLOv5m模型mAP提高了2.15个百分点．下一步研究将继续扩大数据集，进一步改进该模型，使得模型在应对复杂天气的挑战下仍能有较高的检测率．

参考文献