摘要
针对运动场景拍摄的图像出现不均匀模糊现象，导致工业环境下的机器视觉任务处理效率低下的问题，提出一种基于多权自适应交互的运动模糊图像复原算法.首先，采用多策略特征提取模块，从模糊图像中提取出浅层和关键的纹理信息并平滑噪声，同时构建残差语义块，深入挖掘图像的深层语义信息.然后，提出双通道自适应权重提取模块，从退化图像中捕获空间及像素的权重信息，并逐步将这些信息补偿到网络中.最后，设计出一种权重特征融合模块，融合网络所提取的多空间权重特征，并结合多项损失函数，进一步改善图像质量.所提算法在标准数据集下的主客观及消融实验结果显示，在标准数据集下的SSIM(结构相似性)和PSNR(峰值信噪比)指标分别达到0.93和31.89，各模块可以较好协调，在复原运动场景下的非均匀模糊图像方面具有显著优势.
Abstract
To address the issue of inefficient processing of machine vision tasks in industrial environments caused by non-uniform blur in images captured in moving scenes,this paper proposes a motion blurred image restoration approach based on multi-weight adaptive interaction.Firstly,a multi-strategy feature extraction module is employed to extract shallow and critical texture information from blurred images while smoothing noise.Meanwhile,a residual semantic block is constructed to deeply mine the deep semantic information of the images.Secondly,a dual-channel adaptive weight extraction module is introduced to capture spatial and pixel weight information from degraded images and gradually incorporate these information into the network.Finally,a weighted feature fusion module is designed to fuse the multi-spatial weighted features extracted by the network,and multiple loss functions are combined to further improve image quality.The subjective,objective and ablation experimental results of the proposed approach on standard datasets show that the SSIM and PSNR indices reach 0.93 and 31.89,respectively.The modules work well in coordination,exhibiting significant advantages in restoring non-uniform blurred images in moving scenes.
Keywords
0 引言
随着人工智能技术的迅猛发展，视频图像已逐渐演变成现代化工业中信息传递的核心载体.在下游机器视觉任务中，视频图像被广泛应用于交通监控、信号检测等实际工作场景[1].然而在图像捕获过程中，由于成像设备或目标物体的快速移动，常会导致图像出现模糊现象，不仅减少了图像所承载的信息量，还对后续的机器视觉任务，如图像分类、目标检测和目标跟踪等产生不良影响，降低其工作效率[2].因此，解决运动模糊图像的复原问题具有现实意义.
传统的运动模糊图像复原方法通过对模糊图像的形成过程进行数学建模，进而计算出清晰图像[3]，该建模过程可表示为，其中，B、I分别表示模糊图像和待估计的清晰图像，K为模糊核，通过每行都包含一个作用于清晰图像的局部模糊核来计算模糊像素，并输出一个稀疏矩阵，N表示图像噪声，为卷积操作.例如：Sun等[4]提出一种基于补丁的盲反卷积核估计策略，即对模糊图像的边缘等特征设计相关补丁先验，并计算退化图像“可信”子集的方式输出清晰图像; 郭政等[5]提出一种给予运动偏移信息估计的图像去模糊算法，从模糊图像中提取多个时间点的运动像素偏移量，并对其运动方式进行建模，实现端对端图像去模糊; 侯庆璐等[6]提出一种基于结构稀疏通道先验算法，该算法通过正则化模型计算模糊核，并使用反卷积方法恢复图像; Xu等[7]通过改进基于空间先验迭代支持检测核，提出一种核估计方法，并使用反卷积模型对参数进行变量替换抑制噪声，增强鲁棒性; Li等[8]提出一种稀疏数学表达式来复原运动模糊图像，该方法在优化过程中不需要额外的滤波，并且使用少量迭代即可使其收敛.虽然结合模糊建模的方法具有良好的解释性，但找到每个像素模糊核是一个不适定问题，使得上述算法只能应对简单的平移或旋转模糊问题，且计算过程复杂、时间消耗长，难以应用于现实运动模糊场景.
近年来，深度学习技术被广泛地应用于图像处理领域并取得良好的效果，相较于传统方法，其强大的特征学习能力更适用于模糊图像等非线性退化问题.例如：陈清江等[9]提出一种双分支的特征提取及循环网络，通过细化输入模糊图像的深层特征，并循环增强来复原图像; 张艳珠等[10]通过改进多尺度U-Net网络来恢复红外模糊图像，即在原网络中引入对偶注意力机制，并加入傅里叶操作增强高低频信息处理能力，达到增强模糊图像目的; Ren等[11]提出一种基于深度卷积神经网络的图像去模糊算法，该算法可以在统一的框架内处理不同的内核和饱和像素来捕获图像退化的固有属性，并使用可分离滤波器初始化网络中的卷积参数; Wang等[12]提出一种基于Transformer的图像恢复架构，并构建分层编码-解码器结构捕获局部上下文信息，可显著降低高分辨率特征图的计算复杂度，提高算法效率; 张玉波等[13]提出一种非对称的轻量级的图像盲去模糊网络，可以实现高质量的夜间照片去模糊.已有深度学习算法可以较好地处理运动模糊问题，但主要通过对图像整体处理实现图像复原，忽略了现实场景下的不均匀模糊问题，稳定性较差.
针对上述问题，本文提出一种基于多头自适应融合的不均匀模糊图像复原算法，主要贡献如下：
1）采用多策略特征提取模块直接从模糊图像中精确提取有效特征，结合残差语义块进一步学习图像的非线性特征，提高对模糊图像复原的稳定性;
2）提出一种双通道自适应权重提取模块，即使用并行的注意力机制来提取空间和像素两个维度的权重信息，并逐步补偿到网络中，提高其对不均匀模糊区域的敏感程度;
3）设计了一种权重特征融合模块，通过分别处理网络提取出的多空间权重特征来保留关键信息，逐步进行融合以构建更完整的图像表示，结合多项损失函数进行网络优化，提高其鲁棒性.
1 相关理论
在机器视觉领域，注意力机制的主要作用在于使模型能够更加专注于关键特征处理，并抑制不相关的信息，使得模型可以更好地感知和处理图像中的重要区域[14].在实践中，像素注意力和通道注意力是两种应用广泛的注意力机制.
通道注意力机制SENet模型[15]通过对退化图像的通道权重进行建模来提高网络对空间特征的表示能力，结构如图1所示，主要包括挤压（squeeze）、激励（excitation）和注意（scale）操作.
1）挤压：当特征图像输入到网络时，为使模块可以关注计算图像的通道间的权重联系，该操作使用一个全局平均池化来聚合跨空间维度，将其从H×W×C压缩为1×1×C，并将全局空间信息压缩到通道描述符中，供后续层操作，输出可表示为
(1)
其中：Uc为输入特征; H、W分别表示输入特征的高和宽; Zc为输出特征，大小为1×1×C.
2）激励：为了从压缩的全局空间信息中获取通道间的权重关联，excitation通过“基于通道依赖”的自选门机制来学习每个通道的特征权重样本，进而使网络学会如何利用全局信息，提高重要特征的权重分配、抑制无用特征，并在输出前使用Sigmoid激活函数限制模型的复杂性，输出可表示为
(2)
其中：σ（·）、δ（·）分别表示Sigmoid和ReLU激活函数; 用来降低维度，用于维度递增，r为简化参数，用于减少全连接层维度，降低网络复杂度.
3）注意：获取不同通道权重后，scale使用元素相乘将得到权重重新分配到输入特征中，可表示为
(3)
其中：表示元素相乘操作.
图1通道注意力机制结构
Fig.1Structure of channel attention mechanism
像素注意力机制[16]通过对特征图像像素的权重进行建模，使网络注重像素的处理.具有代表性的包括FFA-Net[17]，其结构如图2所示.该模块的操作原理与通道注意力机制[18]相似.首先，使用通道下采样使图像大小从H×W×C变成H×W×1，压缩图像通道数量，将全局空间信息压缩到像素描述符中; 然后，使用1×1卷积单元提取图像的像素特征，并计算每个像素特征权重; 最后，使用Sigmoid激活函数输出，并使用元素相乘法将提取到的像素权重重新分配到输入图像中.
2 本文方法
针对现存模糊图像复原方法难以稳定应用在非均匀模糊场景的问题，本文提出一种基于多权自适应交互的运动模糊图像复原算法，结构如图3所示，主要包括多策略特征提取模块（Multi-Strategy feature extraction Module，MSM）、双通道自适应权重提取模块（Dual-Channel adaptive weight extraction Module，DCM）、残差语义块（Residual Semantic Block，RSB）、权重特征融合模块（Weight Feature Fusion Module，WFFM）、自适应多分支融合模块（Adaptive Multi-branch Fusion Module，AMFM）.主干网络采用MSM和RSB对输入图像进行初步处理，准确提取其核心语义信息，而分支网络则主要通过DCM获取输入图像的像素（I1）和空间（I2）权重特征，并逐步补偿到主干网络中，辅助其对不均匀模糊区域调整处理策略.最后，通过AMFM分别处理上述权重信息，并进行有效融合，从而显著提升其学习能力.
图2像素注意力机制结构
Fig.2Structure of pixel attention mechanism
2.1 结构内部模块
主干网络通过提出多策略特征提取模块、语义残差块结构来保证网络准确提取输入模糊图像的空间特征.多策略特征提取模块结构如图4a所示.当运动模糊的图像输入到网络中时，该模块首先会通过3×3大小的卷积单元来提取其浅层特征，然后分别采用最大池化和平均池化操作来增强图像.其中：最大池化能够计算邻域内的像素最大值，从而增强图像的纹理细节等特征; 平均池化则会计算邻域内的像素平均值，起到平滑像素的作用，减少噪声影响[19].最后将得到的增强权重使用元素相乘添加到浅层信息中，并将两种权重特征通过全连接层进行拼接，输出有效的特征信息.此外，为保持主干网络获取更完整的图像空间信息，还引入语义残差块[20]，结构如图4b所示.首先通过两个3×3大小的卷积单元来提取图像的深层语义信息，并采用跳跃连接组成残差结构来保持空间特征权重的传输程度.然后使用1×1卷积单元来降低特征维度，进而降低网络学习难度.最后再通过一层残差块，对特征进行进一步提取，以获取更丰富的空间信息.
图3本文方法网络结构
Fig.3Network structure of the proposed motion blurred image restoration approach
图4主干网络相关模块结构
Fig.4Related module structures of backbone network
在分支网络中，本文设计了一种双通道自适应权重提取模块，主要功能为从输入图像中自适应地提取空间和像素级的特征权重，有助于更准确地描述图像中各个特征的重要程度.然后构建权重特征融合模块，将提取到的权重与主干网络进行融合，以增强网络的特征学习能力.双通道自适应权重提取模块的结构如图5a所示.该模块首先通过一个残差块提取模糊图像的特征来保留原始特征的权重信息.然后，通过下采样操作将图像的尺寸减半，并利用通道注意力机制来提取空间权重，再将所得权重与原始权重进行元素相乘的操作，得到I1.最后，为了提高网络对像素单元的敏感度，将图像的尺寸扩大1倍后，利用像素注意力机制来提取像素权重，同样与原始权重进行元素相乘，得到I2.该模块结合了Sigmoid和ReLU激活函数进行权重转移，目的是缓解模糊图像中的无用信息对网络产生不良影响.
权重特征融合模块结构如图5b所示.首先使用两个卷积单元提取得到的权重，以增强其稳定性.然后通过元素相乘的方式进行初步的融合操作，再将初步融合的结果与原始权重进行元素相加，实现再次融合.最终将分支网络的权重通过全连接操作融合到主干网络中.经过上述模块处理后，使得网络能够有效地提取和处理模糊图像的特征信息，从而在图像增强任务中取得更好的效果.
在逐步添加空间和像素权重复原模糊图像过程中，随着网络深度的增加易出现信息丢失等问题，故提出一种自适应多分支融合模块，以自动补充网络中丢失的信息，提升图像增强算法的性能和鲁棒性，其结构如图6所示.受多种注意力机制启发，该模块以模糊图像的原始特征为主要权重，首先通过元素相加对像素和空间特征进行初步叠加.然后采用平均池化对携带多种权重的特征图像进行平滑处理，以缓解无用特征的影响，再使用1×1卷积单元对特征图像以像素为单位进行处理，提高其利用程度.
图5分支网络相关模块结构
Fig.5Related module structures of branch network
图6自适应多分支融合模块结构
Fig.6Structure of adaptive multi-branch fusion module
为了实现不同权重的有效融合，还设计了以参数为主控因素的权重转移方式.为此，本文通过多次训练，并以结构相似性指标（Structural Similarity Index Measure，SSIM）为标准来确定最优权重转移量，完成对丢失信息的补充，经过大量实验，得出最优参数热力图（图7），最终将α和β分别设置为3.5和6.3.
2.2 损失函数
综合分析模糊图像的退化问题及本文网络结构，采用的损失函数主要如下：
1）L1损失
由于运动背景下获取的模糊图像会丢失纹理、细节等信息，因此首先使用L1损失函数[21]来提升网络对图像内容的增强能力，公式如下：
(4)
其中：和Si分别表示网络输出与对应的真值图像; N代表像素数量; i的取值范围为[1，n]; ti为当前像素数量.
2）SSIM损失
在图像增强和恢复任务中，使特征空间中输入和输出之间的距离最小化的辅助损失项应用广泛且效果良好[22].为此，本文还使用多尺度频率重建（Multi-Scale Frequency Reconstruction，MSFR）损失函数[23].该损失函数可在频域内测量地面真实图像和网络输出图像之间的L1距离，定义如下：
图7参数热力图
Fig.7Heatmap of parameters
(5)
其中：F表示将图像信号传输到频域的快速傅里叶变换.
网络的最终损失函数如下：
(6)
3 实验结果与分析
下面使用主观视觉和客观指标评价来验证多权自适应交互的不均匀模糊图像复原算法的优越性.
3.1 数据集与训练准备
实验环境如表1所示，优化器为Adam，批量大小（Batch Size）设置为2，共训练120个epoch.
表1实验环境
Table1Experimental environment
3.2 主观评价
为了验证所提出算法在处理运动模糊环境下拍摄图像的有效性，本文选用GOPRO作为实验数据集[24]，并与DBGAN算法[25]、DMPHN算法[26]、MRN算法[27]进行对比，结果如图8所示，各分图左上角红色字体显示了该图像与清晰图像的结构相似性（SSIM）[28]指标大小，右上角绿色字体显示的是峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）[29]，两个指标越大表示越接近清晰图像.
由图8可以观察到，DBGAN算法在处理运动模糊环境下的图像退化问题时，虽然表现出一定的改善能力，但在处理动态场景中的人脸时，恢复结果缺乏稳定性.此外，对于运动中的车辆，DBGAN算法处理图像出现了严重的伪影，不仅影响视觉效果，还可能对后续的图像处理和分析造成干扰.DMPHN算法的恢复结果较差，无论是在人脸图像的恢复还是在运动车辆伪影的处理上，难以有效应对运动模糊和伪影等挑战.MRN算法总体性能较逊，无论是在人脸图像的恢复还是在运动车辆伪影的抑制方面，均未能达到理想的效果.本文提出的算法不仅能够有效缓解运动模糊对图像质量的影响，而且在人脸恢复程度上表现较好.特别是在处理运动中的车辆时，本文算法能够有效抑制伪影现象的发生，使得恢复后的图像更加清晰自然.
图8GOPRO数据集实验结果
Fig.8Experimental results on GOPRO dataset
图9为不同算法在处理运动模糊图像时的细节表现.通过对比可以发现，DBGAN和MRN算法处理的图像中，车牌号的清晰度明显不足，运动中的车辆上的文字也显得模糊，不仅影响图像的整体视觉效果，还可能严重阻碍后续车牌识别、交通监控等机器视觉任务的顺利进行.DMPHN算法在某些方面较DBGAN和MRN有所改进，但在处理第2张图像时，远处文字出现少量模糊现象.相比之下，本文提出的算法在细节恢复方面展现出更为出色的性能，不仅能够更稳定地恢复车牌号码的图像，对于运动中车辆上的数字以及远处的文字，也能够实现更为精准的恢复，在视觉效果上更加接近真实清晰的图像，可为后续的机器视觉任务提供更为可靠的数据基础.
3.3 客观评价
1）Level1：使用处于运动中的拍摄设备来捕捉静止物体;
2）Level2：使用处于静止时的拍摄设备来捕捉运动物体;
3）Level3：使用处于运动中的拍摄设备来捕捉运动物体.
各算法的测试结果如表2所示.可以看出，本文提出的算法在不同模糊程度的图像下，其综合指标数值优于所对比的其他算法.
在Level1中，由于使用运动中的拍摄设备捕捉静止物体，所得图像的模糊现象较为均匀，各算法的PSNR和SSIM指标分别达到30及0.9以上.值得一提的是，DBGAN算法因广泛采用大尺度卷积单元处理，使得其在该等级中的SSIM指标优于本文算法.在Level2中，采用静止的拍摄设备来捕捉运动图像，由于物体运动程度的不同，所获取的图像呈现出局部不均匀的模糊现象.相较于Level1，各算法指标均有所下降，但本文算法表现最优.在Level3中，使用运动中的拍摄设备捕捉运动物体，这使得获取的图像在原本就均匀的模糊现象上叠加了更为复杂的不均匀模糊，因此，其对比更能检验算法的稳定性.本文算法在Level3中的PSNR和SSIM分别达27.85和0.80，表现出更强的鲁棒性，更适用于真实的图像去模糊任务.此外，尽管本文算法运行时间（0.137 s/张）并未达到最短，但当考虑PSNR和SSIM指标后，本文算法显示出了较为优越的综合性能.
图9运动模糊图像的细节对比
Fig.9Detailed comparison of motion blurred images
表2各算法在不同程度模糊下的测试结果
Table2Test indicators of diverse algorithms under different degrees of blur
3.4 消融实验
为验证所提算法中各模块的有效性，随机挑选100张模糊图像对所提结构进行消融实验，实验结果如表3所示.
由表3可知：在Net1中，由于移除了多策略特征提取模块（MSM），导致网络难以提取足够的空间信息供后续模块使用，尽管其PSNR值达25.32 dB，但其SSIM值却偏低，这意味着尽管在像素级别上，输出图像与原始图像的差距不大，但在结构、对比度等更高层次的视觉信息上，两者存在明显的不同; 对于Net2，由于缺少双通道自适应权重提取模块（DCM），网络在融合权重信息时面临挑战，导致输出图像的噪声增加; Net3的输出图像在PSNR和SSIM方面表现不佳，这主要是因为去除残差语义块（RSB）影响了网络对特征的重构能力; 在Net4中，由于移除了权重特征融合模块（WFFM），网络难以有效地融合图像特征; 本文算法由于完整地保留了所有设计的模块，因此在PSNR和SSIM方面均表现最优.这充分证明了本文设计的模块不仅能够完成预期的任务，而且网络模块之间的协调性也非常出色，展现出了强大的鲁棒性.
表3网络组成消融实验结果
Table3Network composition ablation experiment results
3.5 应用实验
下面通过边缘检测、特征匹配以及目标检测实验，进一步验证所提算法在实际应用中的可靠性.采用基于Canny算子[30]的边缘检测方法对原始模糊图像经所提算法处理后的输出结果进行实验，其目的不仅是为了验证所提算法在边缘检测方面的性能，更重要的是为了检验算法能否在实际应用中准确地提取出图像中的关键信息.在实验过程中，使用包括车辆、路边景物以及行人等多种不同的图像，以全面评估算法的性能.图10显示，经过所提算法的处理，不仅车辆的车牌数字被清楚地展示出来，路边景物的显著性也得到提升.此外，该算法还增加了对行人的纹理特征检测量，表明所提算法不仅可以增强模糊图像的纹理信息，而且可以为后续的特征匹配、目标识别等图像处理任务提供更为准确的数据支持.
图10Canny算子检测结果
Fig.10Comparison of Canny operator detection results
特征匹配[31]实验结果如图11所示，各分图左上方标注了该图像匹配到的特征点数量.可以看出，在经过本文所提算法的处理后，特征点匹配数量有所增加，表明所提算法能够有效地增加图像承载的信息量，关键信息和细节可以得到更全面的捕捉和提取.
为了全面评估本文算法对实际应用场景中的目标识别性能的影响，采用基于YOLOv7的识别算法[32]对模糊图像和经过本文算法处理的输出图像进行检测.实验结果如图12所示.从红框中可以看出，经过本文算法处理的图像相较于原始模糊图像，不仅在目标识别概率上有显著提升，还能够增加识别到的目标数量.实验结果充分表明，本文算法不仅能够改善图像质量，还能显著提高目标识别的准确性和效率，可以进一步提高实际应用场景中的视频监控、自动驾驶、人脸识别等任务的稳定性与可靠性.
4 结束语
为提高运动场景模糊图像在机器视觉任务中的利用效率，提出一种基于多权自适应交互的运动模糊图像复原算法.该算法所提出的多策略特征提取模块可以有效地获取模糊图像的空间特征，并提高后续模块的处理能力; 构建的双通道自适应权重提取模块和残差语义模块可以进一步提取并重构非均匀空间及像素特征，提升网络的灵活性; 权重特征融合模块则可以将不同权重特征进行融合，从而保证输出图像的完整性，提升信息承载能力.主客观及相关应用实验结果进一步证明了所提算法不仅可以为后续高级视觉提供大量数据支撑，还可以提高其工作效率，为模糊图像复原领域提供新的解决方案.未来将致力于提高算法的运行速度以及在非均匀模糊图像下的鲁棒性，进一步提高其在真实应用场景下的工作效率.
图11特征匹配实验结果
Fig.11Comparison of feature matching experiment results
图12基于 YOLOv7 和本文算法的目标检测实验结果对比
Fig.12Comparison of experiment results of target detection via YOLOv7
