2025年4月6日 2:36 星期日
 引 en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

基于多特征交互和密集残差的图像去雨

  • 林森

    机 构：

    沈阳理工大学 自动化与电气工程学院,沈阳， 110159

    ×
  • ，邱庆澳

    机 构：

    沈阳理工大学 自动化与电气工程学院,沈阳， 110159

    ×

沈阳理工大学 自动化与电气工程学院,沈阳， 110159；

Image rain removal based on multi-feature interaction and dense residual

  • LIN Sen

    Affiliation：

    School of Automation and Electrical Engineering,Shenyang Ligong University,Shenyang 110159 ,China

    ×
  • ，QIU Qingao

    Affiliation：

    School of Automation and Electrical Engineering,Shenyang Ligong University,Shenyang 110159 ,China

    ×

School of Automation and Electrical Engineering,Shenyang Ligong University,Shenyang 110159 ,China；

作者简介:

林森,男,博士,副教授,研究方向为深度学习、模式识别、机器视觉．lin_sen6@126.com

中图分类号:TP391.41

文献标识码:A

DOI:10.13878/j.cnki.jnuist.20230718001

参考文献 1
张俊,江凡,彭德猛,等.雨天环境下的交通流影响研究[J].中国安全科学学报,2023,33(5):134-143;ZHANG Jun,JIANG Fan,PENG Demeng,et al.Research on impact of traffic flow in rainy environments[J].China Safety Science Journal,2023,33(5):134-143
查找原文
参考文献 2
施赛楠,姜丽,曹鼎,等.基于频域相对样本熵的海面小目标特征检测[J].南京信息工程大学学报(自然科学版),2023,15(4):429-438;SHI Sainan,JIANG Li,CAO Ding,et al.Feature detection of sea-surface small targets via relative sample entropy in frequency domain[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(4):429-438
查找原文
参考文献 3
方莉娜,王康.基于车载激光点云的道路交叉口检测与识别[J].南京信息工程大学学报(自然科学版),2021,13(6):635-644;FANG Lina,WANG Kang.Road intersection detection and recognition based on mobile laser scanning[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(6):635-644
查找原文
参考文献 4
Kim J H,Lee C,Sim J Y,et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18,2013,Melbourne,VIC,Australia.IEEE,2014:914-917
查找原文
参考文献 5
Luo Y,Xu Y,Ji H.Removing rain from a single image via discriminative sparse coding[C]//2015 IEEE International Conference on Computer Vision(ICCV).December 7-13,2015,Santiago,Chile.IEEE,2016:3397-3405
查找原文
参考文献 6
Li Y,Tan R T,Guo X J,et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:2736-2744
查找原文
参考文献 7
Chang Y,Yan L X,Zhong S.Transformed low-rank model for line pattern noise removal[C]//2017 IEEE International Conference on Computer Vision(ICCV).October 22-29,2017,Venice,Italy.IEEE,2017:1735-1743
查找原文
参考文献 8
Deng S,Wei M Q,Wang J,et al.Detail-recovery image deraining via context aggregation networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:14548-14557
查找原文
参考文献 9
Jiang K,Wang Z Y,Yi P,et al.Multi-scale progressive fusion network for single image deraining[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:8343-8352
查找原文
参考文献 10
Zhang H,Sindagi V,Patel V M.Image de-raining using a conditional generative adversarial network[J].IEEE Transactions on Circuits and Systems for Video Technology,2020,30(11):3943-3956
查找原文
参考文献 11
Huang H B,Yu A J,He R.Memory oriented transfer learning for semi-supervised image deraining[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 20-25,2021,Nashville,TN,USA.IEEE,2021:7728-7737
查找原文
参考文献 12
Zhou M,Xiao J,Chang Y F,et al.Image de-raining via continual learning[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 20-25,2021,Nashville,TN,USA.IEEE,2021:4905-4914
查找原文
参考文献 13
Zheng S,Lu C J,Wu Y X,et al.SAPNet:segmentation-aware progressive network for perceptual contrastive deraining[C]//2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops(WACVW).January 4-8,2022,Waikoloa,HI,USA.IEEE,2022:52-62
查找原文
参考文献 14
秦晓琪,刘小勤,马浩东.多尺度生成对抗网络单幅图像去雨方法研究[J].仪表技术,2021(4):47-50;QIN Xiaoqi,LIU Xiaoqin,MA Haodong.Research on rain removal method for single image of multi-scale generative adversarial network[J].Instrumentation Technology,2021(4):47-50
查找原文
参考文献 15
刘西宁.基于深度残差网络的红外热波图像去模糊[D].成都:电子科技大学,2021;LIU Xining.Infrared thermal wave image deblurring based on depth residual network[D].Chengdu:University of Electronic Science and Technology of China,2021
查找原文
参考文献 16
He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778
查找原文
参考文献 17
Huang G,Liu Z,Maaten L V D,et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:2261-2269
查找原文
参考文献 18
Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[J].Proceedings of the 32nd International Conference on Machine Learning,2015,37:448-456
查找原文
参考文献 19
Zhao H,Gallo O,Frosio I,et al.Loss functions for image restoration with neural networks[J].IEEE Transactions on Computational Imaging,2017,3(1):47-57
查找原文
参考文献 20
徐景秀,张青.改进小波软阈值函数在图像去噪中的研究应用[J].计算机工程与科学,2022,44(1):92-101;XU Jingxiu,ZHANG Qing.Research and application of an improved wavelet soft threshold function in image denoising[J].Computer Engineering and Science,2022,44(1):92-101
查找原文
参考文献 21
王海涛,林森,陶志勇.双注意力机制与改进U-Net的水下图像增强[J].电子测量技术,2023,46(1):181-187;WANG Haitao,LIN Sen,TAO Zhiyong.Underwater image enhancement based on dual attention mechanism and improved U-Net[J].Electronic Measurement Technology,2023,46(1):181-187
查找原文
参考文献 22
Ran W,Yang Y Z,Lu H.Single image rain removal boosting via directional gradient[C]//2020 IEEE International Conference on Multimedia and Expo(ICME).July 6-10,2020,London,UK.IEEE,2020:1-6
查找原文
参考文献 23
Chen D D,He M M,Fan Q N,et al.Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision(WACV).January 7-11,2019,Waikoloa,HI,USA.IEEE,2019:1375-1383
查找原文
参考文献 24
Li X A,Wu J L,Lin Z C,et al.Recurrent squeeze-and-excitation context aggregation net for single image deraining[M]//Computer Vision-ECCV 2018.Cham:Springer International Publishing,2018:262-277
查找原文
参考文献 25
Ren D W,Zuo W M,Hu Q H,et al.Progressive image deraining networks:a better and simpler baseline[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 15-20,2019,Long Beach,CA,USA.IEEE,2020:3932-3941
查找原文
参考文献 26
Shang W,Zhu P F,Ren D W,et al.Bilateral recurrent network for single image deraining[C]//2020 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).May 4-8,2020,Barcelona,Spain.IEEE,2020:2503-2507
查找原文
参考文献 27
Yang W H,Tan R T,Feng J S,et al.Deep joint rain detection and removal from a single image[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:1685-1694
查找原文
参考文献 28
Yasarla R,Valanarasu J M J,Patel V M.Exploring overcomplete representations for single image deraining using CNNs[J].IEEE Journal of Selected Topics in Signal Processing,2021,15(2):229-239
查找原文
参考文献 29
柳长源,王琪,毕晓君.基于多通道多尺度卷积神经网络的单幅图像去雨方法[J].电子与信息学报,2020,42(9):2285-2292;LIU Changyuan,WANG Qi,BI Xiaojun.Research on rain removal method for single image based on multi-channel and multi-scale CNN[J].Journal of Electronics & Information Technology,2020,42(9):2285-2292
查找原文
参考文献 30
Huynh-Thu Q,Ghanbari M.Scope of validity of PSNR in image/video quality assessment[J].Electronics Letters,2008,44(13):800-801
查找原文
参考文献 31
Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2004,13(4):600-612
查找原文
参考文献 32
Mittal A,Soundararajan R,Bovik A C.Making a “completely blind” image quality analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212
查找原文
参考文献 33
Wang J F,Chen Y,Dong Z K,et al.Improved YOLOv5 network for real-time multi-scale traffic sign detection[J].Neural Computing and Applications,2023,35(10):7853-7865
查找原文
目录contents

    摘要

    针对雨天环境下获取图像质量差,导致后续机器视觉任务效率低下的问题,提出一种基于多特征交互和密集残差的图像去雨算法．首先,提出多重特征交互卷积模块提取不同空间下雨线的语义特征,增强信息利用程度;其次,构建多维空间权重注意模块,将不同空间信息权重初步融合并增强雨线特征;然后,结合密集连接和残差网络的优点,设计一种密集残差融合模块,在提高网络学习能力的同时实现对信息的重复利用,进一步校正雨纹信息;最后,通过将多种损失函数线性组合,并结合雨天成像模型提高输出图像质量．在多个公开数据集上的实验结果表明,本文所提算法的主客观评价指标均优于所对比的经典及新颖算法,在去除雨纹的同时能更有效地保留图像背景细节信息．

    Abstract

    To solve the poor image quality and subsequent low efficiency of machine vision tasks on rainy days,an image rain removal algorithm based on multi-feature interaction and dense residual is proposed.First,a multi-feature interactive convolution module is proposed to extract the semantic features of rain streaks in different spaces to enhance information utilization.Second,a multidimensional space weight attention module is constructed,and the weights of different spatial information are preliminarily integrated to enhance the characteristics of rain streaks.Then combining the advantages of dense connection and residual network,a dense residual fusion module is designed,which improves the learning ability of the network,realizes the reuse of information,and further corrects the rain information.Finally,the output image quality is improved through the linear combination of various loss functions as well as the rainy day imaging model.Experiments on several public datasets show that the subjective and objective evaluation indexes of the proposed algorithm outperform those of the classical algorithm and novel algorithms,and the detailed background information of the images can be better preserved while removing the rain streaks.

  • 0 引言

  • 雨天是一种常见的恶劣天气[1]．在雨天拍摄的图像通常会出现模糊、变形、对比度差等图像质量问题，这不仅严重影响人类的视觉感知，还会降低目标检测[2]、车辆识别[3]等基于机器视觉系统任务的稳定性和准确性，从而影响工作效率．因此，研究图像去雨技术具有重要现实意义．

  • 图像去雨任务作为计算机视觉领域的上游任务，得到国内外很多学者的关注与研究，并取得较为显著的进展．单幅图像去雨算法可分为两类，即基于传统的算法和基于深度学习的算法．传统算法大多将去雨看作图像分解问题，例如:Kim等[4]提出一种针对单幅图像的自适应雨纹去除算法，首先检测雨痕区域，然后对该区域执行非局部均值滤波进而实现雨水去除; Luo等[5]提出一种单图像去雨算法，即通过强互斥性的字典学习逼近雨层和背景层，使用高判别性的稀疏编码准确地分离出雨层和背景层; Li等[6]提出基于高斯混合模型的去雨算法，使用图像的先验信息去雨，可以适应图像中多种类型和方向的雨纹; Chang等[7]提出一种用于去除线性噪声的新型变换低秩图像分解框架，用来分离图像背景层和雨纹层，实现单幅图像去雨．基于传统的算法可以去除图像中的细微雨痕和方向、形状等较为规则的雨线，对于密集雨纹图像效果不佳，同时，由于算法设计过于复杂，模型运算时间冗长，难以应用于实际雨天环境中．

  • 近年来，深度学习在图像处理领域被广泛应用，基于深度学习的图像去雨算法兴起并迅速发展，其模型性能和效果都表现得比较理想．Deng等[8]构建由残差网络和细节修复网络组成的双分支并行网络，前者去除雨痕，后者进行图像细节恢复，同时引入了两个具有综合损失函数的并行子网络进行协同去雨并恢复去雨时丢失的细节信息; Jiang等[9]提出多尺度渐进融合网络用于图像雨痕的去除，构建了多尺度金字塔结构，并进一步引入注意力机制来指导这些来自不同尺度的相关信息的精细融合; Zhang等[10]基于条件式生成对抗的去雨网络，设计密集连接的生成器子网络实现图像雨水去除，提出一种多尺度鉴别器利用局部和全局信息来确定相应的去雨图像的真伪; Huang等[11]提出一种面向内存的半监督方法来获取清晰图像；Zhou等[12]提出一种参数重要度引导的权重修正方法，在解决传统深度卷积神经网络灾难性遗忘的同时，获得清晰的去雨图像; Zheng等[13]提出一种基于对比学习的分段感知渐进网络用于单幅图像去雨，该方法可以显著扩展图像的感受域并保留图像的语义信息．

  • 虽然上述深度学习算法在一定程度上可以去除雨纹并输出清晰图像，但是就背景细节及纹理信息的完整性方面仍有较大提升空间．鉴于此，本文提出一种基于多特征交互和密集残差的图像去雨算法，旨在有效去除雨条纹的同时更好地保留图像的纹理细节信息．本文主要贡献如下:

  • 1）提出一种多重特征交互卷积模块，使用多种卷积分支提取不同空间下雨线的语义特征，提高信息利用程度;

  • 2）构建一种多维空间权重注意模块，通过权重转移的方式提升网络对雨线与背景层的辨识度，达到初步分离背景层和增强雨纹特征的目的．

  • 3）设计一种密集残差融合模块来融合雨纹层相关特征信息，兼顾了网络深度和信息利用程度，提高获取的雨层图像的完整性．此外，构建多个损失函数的线性组合来约束网络，并结合雨天成像模型，提高输出图像质量．

  • 1 相关理论

  • 1.1 雨天成像模型

  • 雨天成像模型如图1所示，即将雨天图像O（x）看作为干净的图像背景层B（x）和雨纹层R（x）的叠加，通过将有雨图像中干净的背景层分离出来实现图像去雨．

  • 图1 雨天成像模型

  • Fig.1 Image deraining model

  • 图像去雨工作的主要目的是从雨天图像中分离背景层和雨纹图像[14]，公式为

  • O(x)=B(x)+R(x).
    (1)

  • 1.2 残差网络

  • 模型精度会随着网络加深而提高，然而当层级越来越高时，训练与测试精度会迅速下滑，导致网络性能严重下降[15]．为此，文献[16]提出残差网络（Residual Networks，ResNets），将残差连接应用于深度网络时，可较好地改善训练过程中因梯度消失而导致的网络性能下降问题．如图2所示，将输入直接添加到输出中，使高层专注于残差的学习，避免低层特征丢失导致模型退化．

  • 图2 残差模块

  • Fig.2 Residual module

  • 图2中ReLU激活函数公式为

  • VReLU(x)=0, x<0x, x⩾0
    (2)

  • 此函数可克服梯度消失等问题，并加快训练速度，残差连接最终输出可表示为

  • Y=F(X)+X.
    (3)

  • 其中:X，Y分别为输入、输出; F（·）为残差函数．

  • 1.3 密集连接卷积网络

  • 相较于残差网络，密集连接卷积网络[17]（Dense Connected Convolutional Networks，DenseNets）可以最大化层与层之间的信息传输．如图3所示，将模块中前层输出的特征传递给之后的所有层，将信息重复利用致使少量卷积核仍可处理大量特征信息，缓解梯度消失等问题．

  • 图3中输出可表示为

  • Xn=HnX0,X1,⋯,Xn-1.
    (4)

  • 其中:Hn（·）为非线性转化函数，包括归一化层（Batch Normalization，BN）、ReLU激活函数和Conv操作; [X0，X1，···，Xn-1]为第0，1，···，n-1层输出的特征图．

  • 2 本文方法

  • 本文设计了一种基于多特征交互和密集残差的图像去雨算法，通过兼顾深度学习网络的特征提取能力与信息间关联程度的方式来提高算法在图像去雨任务中的准确度与鲁棒性，并提高图像信息对后续任务的利用率，进而提高工作效率．

  • 2.1 网络结构

  • 本文所提网络结构如图4所示，包括多重特征交互卷积模块（Multi-feature Interactive Convolution Module，MICM）、多维空间权重注意模块（Multidimensional Space Weight Attention Module，MSWAM）和密集残差融合模块（Dense Residual Fusion Module，DRFM）．首先，通过多重特征交互卷积模块提取输入雨图的浅层空间特征信息; 其次，利用多维空间权重注意模块对图像雨纹层信息进行增强，对已提取的空间特征信息进行更高层语义特征学习进而获得不同形状、尺寸的雨纹多维度特征，以确保提取完整的雨纹特征信息; 然后，结合残差连接与密集连接的优点，提出密集残差融合模块，在增加网络深度的同时实现对信息重复利用，对多分支特征进行深层融合; 最后，通过下采样对雨纹层图像实现特征重构，结合雨天线性成像模型，得到去除雨纹的清晰图像．下面将详细介绍各模块．

  • 图3 密集连接卷积网络

  • Fig.3 Dense connected convolutional networks

  • 2.2 多维空间权重注意模块

  • 为确保在提取雨纹不同尺度特征信息的同时抑制无用信息进一步传递，提出多维空间权重注意模块MSWAM，模块组成如图5所示．

  • 该模块包括3条分支，每条分支主要由卷积（Conv）和Sigmoid激活函数组成．经过图像浅层特征提取后，将特征图输入到3条分支，即分别使用1×1、3×3、5×5大小的卷积来收集不同尺度的多维空间特征信息．其中，1×1卷积单元用于提取图像的细微特征、5×5卷积单元用于扩大感受野、3×3卷积单元则作为该模块的主干分支，用于传输完整的空间特征信息．最后使用Sigmoid激活函数输出．其公式如下:

  • VSigmoid (x)=11+e-x.
    (5)

  • 为避免特征信息的丢失，使用元素相乘操作将大尺度特征结合到邻级小尺度中，在提高信息关联程度的同时进一步扩大小尺度特征的感受野，利用卷积操作提取输入图像的不同特征信息.但由于使用单一激活函数会出现训练缓慢甚至梯度消失等现象，由式（2）可知，ReLU激活函数是非线性函数，当输入大于零时，函数可有效维持原有输出; 当输入小于零时，输出为零．因此，该函数在一定程度上可抑制无效特征．卷积层后使用该激活函数可以帮助网络更好地学习和捕获图像特征，即在Conv3×3支路中加入Conv-ReLU组合，以降低维度，缓解学习压力，提高网络性能和可靠性．

  • 图4 网络结构

  • Fig.4 Network structure

  • 图5 多维空间权重注意模块

  • Fig.5 Multidimensional space weight attention module

  • 使用与主干分支大小相等的卷积单元提高相应分支的特征维度，最后，将ReLU和Sigmoid激活函数结合，不仅可以抑制无用信息，还可以利用Sigmoid激活函数特征转移权重．公式为

  • VReLU⊙Sigmoid =0, x<0;11+exp⁡x, x⩾0.
    (6)

  • 模块输出计算公式如下:

  		•
    (7)

  • 其中:⊙代表元素结合; Cat（）是拼接操作; ⊗代表元素相乘; Yout为该模块的输出; Y′1，Y′3，Y′5分别为Y1，Y3，Y5经过Conv-Sigmoid后的输出; Y″3则为Y3经过Conv-ReLU后的输出．

  • 2.3 密集残差融合模块

  • 为了解决随着网络深度增加导致的梯度消失或浅层信息丢失等问题，有效提高图像去雨性能，深度学习网络通常会引入残差模块改进网络结构．

  • 传统残差块虽然可以解决深层网络梯度消失或梯度爆炸等问题，但由于连接单一，无法充分连接内部卷积，从而降低卷积间特征利用率．因此，本文设计了密集残差融合模块DRFM，如图6所示．

  • 该模块由4个Block组合块和1个3×3卷积单元组成，其中，4个Block组合块通过密集连接操作将其内部的所有卷积单元进行连接，在保证模块内层与层之间可以最大程度传输特征信息的同时，又解决了因网络深度过大引起的特征信息丢失问题．同时考虑到网络速度问题，在网络中添加全局跳跃连接使得网络更容易训练．

  • Block组合块由BN层、卷积核（Conv）、ReLU激活函数组成．其中：BN层主要用于将输入雨图的特征值调整到相近范围，防止因特征值差距过大导致梯度消失问题，提高信息表征能力[18]; 1×1卷积单元用于降维操作，缓解网络学习压力; 3×3卷积单元则用于实现特征信息融合．利用密集残差融合模块来提取深度特征，通过密集连接将低层的输出直接传输到后续层，实现特征重复利用．

  • 密集残差模块计算公式如下:

  • H1=Conv3×3⁡ReLU⁡BNConv1×1⁡ReLUBN(H0)))))))+H0.
    (8)

  • 图6 密集残差融合模块

  • Fig.6 Dense residual fusion module

  • 其中:H0为DRFM的输入; H1为第一个Block组合块的输出．

  • Dout =Conv3×3⁡H0+H1+H2+H3+H4+H0.
    (9)

  • 其中:Dout为DRFM的输出．

  • 2.4 损失函数

  • 采用多种损失函数的线性组合来训练网络，具体如下:

  • 1）L1损失

  • L1损失函数[19]的作用是尽可能生成丰富的纹理特征和边缘信息，定义为

  • L1=∑i=1n Fi-FGTin.
    (10)

  • 其中:F和FGT分别表示处理后图像和相应的背景真实图像; n代表输入图像的数量; i的取值范围为[1，n]．

  • 2）SSIM损失

  • SSIM（Structural Similarity Index Measure）损失函数[20]用于度量两幅图像间的结构相似性，有利于增强图像的纹理细节，定义为

  • LSSIMF,FGT=2μFμFGT+c12σF,FGT+c2μF2+μFGT2+c1σF2+σFGT2+c2.
    (11)

  • 其中:μF，μFGT分别表示两幅图像的均值; σF2，σFGT2 表示方差; σF，FGT为协方差．为避免分母为零，通过实验，取ci=（kiL）2，i=1，2，k1=0.01，k2=0.03，L为像素值的动态范围．

  • 3）感知损失

  • 感知损失函数[21]由已完成训练的卷积神经网络中的特征图参数定义，该函数收敛速度快且参与训练后得到的图像细节更加逼真.通过使用卷积层提取高层特征，能够以更高维度的方式感知图像，从而更精确地模拟人对图像的感受，提升输出图像的视觉效果．该函数参与训练后得到的图像细节更加逼真，定义为

  • LZ=1Wi,jHi,j∑F=1Wi,j ∑FGT=1Hi,j ϕi,jIQF,FGT-ϕi,jGISF,FGT.
    (12)

  • 其中:φi，j为预训练VGG19网络中第i个池化层前的第j个卷积层输出的特征图; Wi，j和Hi，j是特征图的维度．本文i取值为4，j取值为3，即选用VGG4，3卷积层特征图来定义损失．

  • 4）整体损失

  • 通过将三者线性组合得到的整体损失函数可有效提升网络鲁棒性，定义为

  • L=λ1L1+λ2LSSIM+λ3LZ.
    (13)

  • 根据实验，将λ1，λ2，λ3分别设置为2、1、5．

  • 3 实验结果与分析

  • 为验证本文方法的效果，使用主观和客观评价2种方式对比分析，以保证测评的真实性与准确性．

  • 3.1 数据集与训练准备

  • 实验环境如表1所示，优化器为Adam，批量大小（Batch Size）设置为4，共训练60个epoch，前40 epoch的学习率为10-3，后20 epoch的学习率降为10-5．

  • 表1 实验环境

  • Table1 Experimental environment

  • 选择最近的公开源代码的去雨算法进行对比试验，其中包括经典的去雨算法DiG-CoM[22]和基于深度学习的去雨算法GCANet[23]、RESCAN[24]、PReNet[25]，BRN[26]以及SAPNet[13]．对于没有提供训练代码的方法，直接采用提供的预训练模型进行测试．由于实际中难以获得同一状态下完全一致的有雨及无雨的真实图像，基于深度学习网络的图像去雨算法大多使用合成数据提升网络去雨能力．本文使用4个合成雨天图像数据集Rain200H[27]、Rain200L[27]、Rain800[28]和Rain12[6]来训练和测试网络．Rain200H包含1 800对大雨训练图像和200对测试图像，Rain200L包含1 800对小雨训练图像和200对测试图像，Rain800包含700对训练图像和100对测试图像，而Rain12包含12对有雨和无雨图像，仅作为测试图像．使用Yang等[27]提供的真实雨天环境数据集验证算法在实际应用中针对图像的去雨能力．通过对每个数据集中的所有测试图像的评价指标取平均值得到实验数据[29]．

  • 3.2 主观评价

  • 由于Rain200H雨线密集，因此更加具有挑战性．为了直观展示所提算法性能，从中选择6张图像进行主观效果评价，结果如图7所示．

  • 由图7可以看出：GCANet和DiG-CoM算法去除雨纹不彻底，仍有大量雨纹残留; 虽然PReNet、RESCAN、BRN、SAPNet算法均可以输出清晰图像，但是PReNet和RESCAN结果的天空区域出现明显的伪影光晕现象，而BRN和SAPNet算法天空区域模糊，同时丢失部分背景细节信息，降低了图像信息的利用程度；本文的算法不仅有效地去除雨纹，而且保留较多结构纹理和背景细节信息，整体图像与相应的清晰图像结构更相似．为了观察图像的细节表现，还随机挑选一组图像来对比本文方法的细节保留幅度，结果如图8所示．由图8可以看出，本文算法的去雨图像在细节上更加清晰且纹理明显，均优于对比算法，得到的去雨图像更贴近清晰图像．

  • 为了验证本文算法的稳定性，图9展示了不同去雨算法处理真实降雨图像的结果．由图9可以看出：前2组图像中，GCANet处理后依然存在大量雨纹残留，其他对比算法虽去除较多雨纹，但图像的细节信息不能得到很好保留，输出图像质量较低；第3组图像中，GCANet、DiG-CMom和RESCAN算法处理后均存在不同程度的雨痕和伪影，另外3种对比算法虽有较好的去雨效果，但丢失部分背景细节，视觉感受欠佳；得益于提出的多维空间权重注意模块能够提取雨纹的多维度特征以及密集残差融合模块可以最大化利用提取的特征信息，本文算法在去除雨纹的同时更好地保留图像背景细节和纹理结构．通过3组真实去雨图像对比，验证了所提算法在去除雨纹和恢复背景细节方面具有更优效果．

  • 图7 Rain200H主观效果对比

  • Fig.7 Subjective evaluation of rain removal algorithms on Rain200H

  • 图8 Rain200H数据集上的细节对比

  • Fig.8 Detail comparison of rain removal algorithms on Rain200H

  • 图9 真实雨数据集主观效果对比

  • Fig.9 Subjective evaluation of rain removal algorithms on real rainy image dataset

  • 3.3 客观评价

  • 为了进一步验证本文算法的优势，本文还使用峰值信噪比[30]（Peak Signal Noise Ratio，PSNR）和结构相似性[31]（Structural Similarity Index Measure，SSIM）指标对实验结果进行定量评估（2项评价指标均越大越好）．PSNR和SSIM的计算公式分别如下:

  • WPSNR=10×lg⁡2n-12MSE
    (14)

  • 其中:MSE为处理后图像和参考图像间的均方误差; n表示像素的比特数，通常取8，即像素值是256．

  • WSSIM⁡(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ.
    (15)

  • 其中:l（x，y）为亮度关系; c（x，y）为对比度关系; s（x，y）为结构关系; α，β和γ表示调整各部分数值的参数．

  • 不同算法在合成数据集上的定量对比结果如表2所示．实验结果表明，本文所提算法在Rain200H、Rain200L、Rain800和Rain12数据集上的PSNR较次优值分别提高0.053、0.471、0.182和0.333 dB，SSIM较次优值分别提高0.01、0.002、0.049和0.014，均优于对比的经典及新颖算法．此外，2项评价指标在4个数据集上的平均值也取得最优成绩．证明所提去雨算法在去雨性能上较其他算法有更好的效果，更适用于大部分雨天环境．

  • 由于真实环境中很难获得对应的有雨和无雨图像对，因此没有任何无雨图像可以作为参考图像，无法使用PSNR和SSIM做评估指标.本文采用自然图像质量评价指标[32]（Natural Image Quality Evaluator，NIQE）进行客观评估，其值越小表明输出图像的质量越高．

  • 不同算法在真实雨图上的定量结果如表3所示，表中数据为75张真实雨图的NIQE平均值．实验结果表明，本文算法的NIQE值为2.918，是所有数据中的最小值，进一步验证了本文算法的去雨性能．

  • 3.4 消融实验

  • 为验证所提网络结构的有效性，消融实验针对不同网络组成在Rain200H上的去雨结果进行分析，如表4所示．本次消融实验设计了4种不同的网络组合方式，分别为本文原网络，在原网络基础上剔除Conv5×5、3×3、1×1组成的多重特征交互卷积模块MICM（Net1），在原网络基础上剔除MSWAM（Net2）和在原网络基础上剔除DRFM（Net3）．

  • 表2 合成数据集评价指标

  • Table2 Evaluation index of rain removal algorithms on synthetic datasets

  • 注：加粗表示最优值，下划线表示次优值．

  • 表3 真实雨图评价指标

  • Table3 Evaluation index of rain removal algorithms on real rainy images

  • 注：加粗表示最优值，下划线表示次优值．

  • 表4 网络组成消融实验

  • Table4 Network composition ablation experiment

  • 实验结果表明，在未剔除任何网络模块的情况下，本文算法在Rain200H上的PSNR和SSIM值均高于其他网络组成模型，表明去雨效果最好，能有效地保留图像细节和边缘信息．

  • 3.5 在目标检测上的应用

  • 为了验证所提去雨算法在后续计算机视觉下游任务中的实用价值，使用YOLOv5目标检测算法[33]对雨天图像和经本文算法处理后的图像进行测试，结果如图10所示．图10显示，在退化图像中，被雨线所遮挡的图像在目标检测中的精度大幅下降，且存在识别物的漏检问题，而去除雨线后的图像检测精度和检测数量都有了明显提高，且能实现对图中目标的检测，克服了误检和漏检问题，说明本文所提算法适用于室外系统雨天场景下的目标检测等计算机视觉下游任务，并提高其准确度和工作效率．

  • 4 结束语

  • 为提高雨天退化图像在机器视觉任务中的利用程度，本文提出一种基于多特征交互和密集残差的图像去雨方法．实验结果表明:提出的多重特征交互卷积模块可以有效提取雨天图像的空间特征，降低后续网络的学习难度; 多维空间权重注意模块可以进一步通过信息权重转移的方式增强雨纹特征，并有效降低网络复杂度; 密集残差融合模块充分结合密集和残差网络的优势，确保信息完整性的同时融合雨纹的空间特征．本文方法不仅在主观视觉上优于其他算法，而且在客观数据评价指标上较其他算法也更加出色．同时，YOLOv5目标检测实验表明，经所提算法处理后的图像可以提高目标物的检测精度，证明所提去雨方法可应用于其他计算机视觉任务，从而提高算法的实用价值．后续，将进一步提高所提算法的处理效率和准确度．

  • 图10 去雨前后检测效果对比

  • Fig.10 Comparison of target detection results before and after rain removal

  • 参考文献

    • [1] 张俊,江凡,彭德猛,等.雨天环境下的交通流影响研究[J].中国安全科学学报,2023,33(5):134-143;ZHANG Jun,JIANG Fan,PENG Demeng,et al.Research on impact of traffic flow in rainy environments[J].China Safety Science Journal,2023,33(5):134-143

    • [2] 施赛楠,姜丽,曹鼎,等.基于频域相对样本熵的海面小目标特征检测[J].南京信息工程大学学报(自然科学版),2023,15(4):429-438;SHI Sainan,JIANG Li,CAO Ding,et al.Feature detection of sea-surface small targets via relative sample entropy in frequency domain[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(4):429-438

    • [3] 方莉娜,王康.基于车载激光点云的道路交叉口检测与识别[J].南京信息工程大学学报(自然科学版),2021,13(6):635-644;FANG Lina,WANG Kang.Road intersection detection and recognition based on mobile laser scanning[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(6):635-644

    • [4] Kim J H,Lee C,Sim J Y,et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18,2013,Melbourne,VIC,Australia.IEEE,2014:914-917

    • [5] Luo Y,Xu Y,Ji H.Removing rain from a single image via discriminative sparse coding[C]//2015 IEEE International Conference on Computer Vision(ICCV).December 7-13,2015,Santiago,Chile.IEEE,2016:3397-3405

    • [6] Li Y,Tan R T,Guo X J,et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:2736-2744

    • [7] Chang Y,Yan L X,Zhong S.Transformed low-rank model for line pattern noise removal[C]//2017 IEEE International Conference on Computer Vision(ICCV).October 22-29,2017,Venice,Italy.IEEE,2017:1735-1743

    • [8] Deng S,Wei M Q,Wang J,et al.Detail-recovery image deraining via context aggregation networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:14548-14557

    • [9] Jiang K,Wang Z Y,Yi P,et al.Multi-scale progressive fusion network for single image deraining[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:8343-8352

    • [10] Zhang H,Sindagi V,Patel V M.Image de-raining using a conditional generative adversarial network[J].IEEE Transactions on Circuits and Systems for Video Technology,2020,30(11):3943-3956

    • [11] Huang H B,Yu A J,He R.Memory oriented transfer learning for semi-supervised image deraining[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 20-25,2021,Nashville,TN,USA.IEEE,2021:7728-7737

    • [12] Zhou M,Xiao J,Chang Y F,et al.Image de-raining via continual learning[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 20-25,2021,Nashville,TN,USA.IEEE,2021:4905-4914

    • [13] Zheng S,Lu C J,Wu Y X,et al.SAPNet:segmentation-aware progressive network for perceptual contrastive deraining[C]//2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops(WACVW).January 4-8,2022,Waikoloa,HI,USA.IEEE,2022:52-62

    • [14] 秦晓琪,刘小勤,马浩东.多尺度生成对抗网络单幅图像去雨方法研究[J].仪表技术,2021(4):47-50;QIN Xiaoqi,LIU Xiaoqin,MA Haodong.Research on rain removal method for single image of multi-scale generative adversarial network[J].Instrumentation Technology,2021(4):47-50

    • [15] 刘西宁.基于深度残差网络的红外热波图像去模糊[D].成都:电子科技大学,2021;LIU Xining.Infrared thermal wave image deblurring based on depth residual network[D].Chengdu:University of Electronic Science and Technology of China,2021

    • [16] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778

    • [17] Huang G,Liu Z,Maaten L V D,et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:2261-2269

    • [18] Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[J].Proceedings of the 32nd International Conference on Machine Learning,2015,37:448-456

    • [19] Zhao H,Gallo O,Frosio I,et al.Loss functions for image restoration with neural networks[J].IEEE Transactions on Computational Imaging,2017,3(1):47-57

    • [20] 徐景秀,张青.改进小波软阈值函数在图像去噪中的研究应用[J].计算机工程与科学,2022,44(1):92-101;XU Jingxiu,ZHANG Qing.Research and application of an improved wavelet soft threshold function in image denoising[J].Computer Engineering and Science,2022,44(1):92-101

    • [21] 王海涛,林森,陶志勇.双注意力机制与改进U-Net的水下图像增强[J].电子测量技术,2023,46(1):181-187;WANG Haitao,LIN Sen,TAO Zhiyong.Underwater image enhancement based on dual attention mechanism and improved U-Net[J].Electronic Measurement Technology,2023,46(1):181-187

    • [22] Ran W,Yang Y Z,Lu H.Single image rain removal boosting via directional gradient[C]//2020 IEEE International Conference on Multimedia and Expo(ICME).July 6-10,2020,London,UK.IEEE,2020:1-6

    • [23] Chen D D,He M M,Fan Q N,et al.Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision(WACV).January 7-11,2019,Waikoloa,HI,USA.IEEE,2019:1375-1383

    • [24] Li X A,Wu J L,Lin Z C,et al.Recurrent squeeze-and-excitation context aggregation net for single image deraining[M]//Computer Vision-ECCV 2018.Cham:Springer International Publishing,2018:262-277

    • [25] Ren D W,Zuo W M,Hu Q H,et al.Progressive image deraining networks:a better and simpler baseline[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 15-20,2019,Long Beach,CA,USA.IEEE,2020:3932-3941

    • [26] Shang W,Zhu P F,Ren D W,et al.Bilateral recurrent network for single image deraining[C]//2020 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).May 4-8,2020,Barcelona,Spain.IEEE,2020:2503-2507

    • [27] Yang W H,Tan R T,Feng J S,et al.Deep joint rain detection and removal from a single image[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:1685-1694

    • [28] Yasarla R,Valanarasu J M J,Patel V M.Exploring overcomplete representations for single image deraining using CNNs[J].IEEE Journal of Selected Topics in Signal Processing,2021,15(2):229-239

    • [29] 柳长源,王琪,毕晓君.基于多通道多尺度卷积神经网络的单幅图像去雨方法[J].电子与信息学报,2020,42(9):2285-2292;LIU Changyuan,WANG Qi,BI Xiaojun.Research on rain removal method for single image based on multi-channel and multi-scale CNN[J].Journal of Electronics & Information Technology,2020,42(9):2285-2292

    • [30] Huynh-Thu Q,Ghanbari M.Scope of validity of PSNR in image/video quality assessment[J].Electronics Letters,2008,44(13):800-801

    • [31] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2004,13(4):600-612

    • [32] Mittal A,Soundararajan R,Bovik A C.Making a “completely blind” image quality analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212

    • [33] Wang J F,Chen Y,Dong Z K,et al.Improved YOLOv5 network for real-time multi-scale traffic sign detection[J].Neural Computing and Applications,2023,35(10):7853-7865

  • 基本信息

    中图分类号: TP391.41
    文献标识码: A
    DOI: 10.13878/j.cnki.jnuist.20230718001

    基金信息

    资助项目国家重点研发计划(2018YFB1403303)；
    辽宁省教育厅高等学校基本科研项目(LJKMZ20220615)；

    引用信息

    稿件历史

    收稿日期: 2023-07-18

  • 参考文献

    • [1] 张俊,江凡,彭德猛,等.雨天环境下的交通流影响研究[J].中国安全科学学报,2023,33(5):134-143;ZHANG Jun,JIANG Fan,PENG Demeng,et al.Research on impact of traffic flow in rainy environments[J].China Safety Science Journal,2023,33(5):134-143

    • [2] 施赛楠,姜丽,曹鼎,等.基于频域相对样本熵的海面小目标特征检测[J].南京信息工程大学学报(自然科学版),2023,15(4):429-438;SHI Sainan,JIANG Li,CAO Ding,et al.Feature detection of sea-surface small targets via relative sample entropy in frequency domain[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(4):429-438

    • [3] 方莉娜,王康.基于车载激光点云的道路交叉口检测与识别[J].南京信息工程大学学报(自然科学版),2021,13(6):635-644;FANG Lina,WANG Kang.Road intersection detection and recognition based on mobile laser scanning[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2021,13(6):635-644

    • [4] Kim J H,Lee C,Sim J Y,et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18,2013,Melbourne,VIC,Australia.IEEE,2014:914-917

    • [5] Luo Y,Xu Y,Ji H.Removing rain from a single image via discriminative sparse coding[C]//2015 IEEE International Conference on Computer Vision(ICCV).December 7-13,2015,Santiago,Chile.IEEE,2016:3397-3405

    • [6] Li Y,Tan R T,Guo X J,et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:2736-2744

    • [7] Chang Y,Yan L X,Zhong S.Transformed low-rank model for line pattern noise removal[C]//2017 IEEE International Conference on Computer Vision(ICCV).October 22-29,2017,Venice,Italy.IEEE,2017:1735-1743

    • [8] Deng S,Wei M Q,Wang J,et al.Detail-recovery image deraining via context aggregation networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:14548-14557

    • [9] Jiang K,Wang Z Y,Yi P,et al.Multi-scale progressive fusion network for single image deraining[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:8343-8352

    • [10] Zhang H,Sindagi V,Patel V M.Image de-raining using a conditional generative adversarial network[J].IEEE Transactions on Circuits and Systems for Video Technology,2020,30(11):3943-3956

    • [11] Huang H B,Yu A J,He R.Memory oriented transfer learning for semi-supervised image deraining[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 20-25,2021,Nashville,TN,USA.IEEE,2021:7728-7737

    • [12] Zhou M,Xiao J,Chang Y F,et al.Image de-raining via continual learning[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 20-25,2021,Nashville,TN,USA.IEEE,2021:4905-4914

    • [13] Zheng S,Lu C J,Wu Y X,et al.SAPNet:segmentation-aware progressive network for perceptual contrastive deraining[C]//2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops(WACVW).January 4-8,2022,Waikoloa,HI,USA.IEEE,2022:52-62

    • [14] 秦晓琪,刘小勤,马浩东.多尺度生成对抗网络单幅图像去雨方法研究[J].仪表技术,2021(4):47-50;QIN Xiaoqi,LIU Xiaoqin,MA Haodong.Research on rain removal method for single image of multi-scale generative adversarial network[J].Instrumentation Technology,2021(4):47-50

    • [15] 刘西宁.基于深度残差网络的红外热波图像去模糊[D].成都:电子科技大学,2021;LIU Xining.Infrared thermal wave image deblurring based on depth residual network[D].Chengdu:University of Electronic Science and Technology of China,2021

    • [16] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778

    • [17] Huang G,Liu Z,Maaten L V D,et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:2261-2269

    • [18] Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[J].Proceedings of the 32nd International Conference on Machine Learning,2015,37:448-456

    • [19] Zhao H,Gallo O,Frosio I,et al.Loss functions for image restoration with neural networks[J].IEEE Transactions on Computational Imaging,2017,3(1):47-57

    • [20] 徐景秀,张青.改进小波软阈值函数在图像去噪中的研究应用[J].计算机工程与科学,2022,44(1):92-101;XU Jingxiu,ZHANG Qing.Research and application of an improved wavelet soft threshold function in image denoising[J].Computer Engineering and Science,2022,44(1):92-101

    • [21] 王海涛,林森,陶志勇.双注意力机制与改进U-Net的水下图像增强[J].电子测量技术,2023,46(1):181-187;WANG Haitao,LIN Sen,TAO Zhiyong.Underwater image enhancement based on dual attention mechanism and improved U-Net[J].Electronic Measurement Technology,2023,46(1):181-187

    • [22] Ran W,Yang Y Z,Lu H.Single image rain removal boosting via directional gradient[C]//2020 IEEE International Conference on Multimedia and Expo(ICME).July 6-10,2020,London,UK.IEEE,2020:1-6

    • [23] Chen D D,He M M,Fan Q N,et al.Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision(WACV).January 7-11,2019,Waikoloa,HI,USA.IEEE,2019:1375-1383

    • [24] Li X A,Wu J L,Lin Z C,et al.Recurrent squeeze-and-excitation context aggregation net for single image deraining[M]//Computer Vision-ECCV 2018.Cham:Springer International Publishing,2018:262-277

    • [25] Ren D W,Zuo W M,Hu Q H,et al.Progressive image deraining networks:a better and simpler baseline[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).June 15-20,2019,Long Beach,CA,USA.IEEE,2020:3932-3941

    • [26] Shang W,Zhu P F,Ren D W,et al.Bilateral recurrent network for single image deraining[C]//2020 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).May 4-8,2020,Barcelona,Spain.IEEE,2020:2503-2507

    • [27] Yang W H,Tan R T,Feng J S,et al.Deep joint rain detection and removal from a single image[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).July 21-26,2017,Honolulu,HI,USA.IEEE,2017:1685-1694

    • [28] Yasarla R,Valanarasu J M J,Patel V M.Exploring overcomplete representations for single image deraining using CNNs[J].IEEE Journal of Selected Topics in Signal Processing,2021,15(2):229-239

    • [29] 柳长源,王琪,毕晓君.基于多通道多尺度卷积神经网络的单幅图像去雨方法[J].电子与信息学报,2020,42(9):2285-2292;LIU Changyuan,WANG Qi,BI Xiaojun.Research on rain removal method for single image based on multi-channel and multi-scale CNN[J].Journal of Electronics & Information Technology,2020,42(9):2285-2292

    • [30] Huynh-Thu Q,Ghanbari M.Scope of validity of PSNR in image/video quality assessment[J].Electronics Letters,2008,44(13):800-801

    • [31] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2004,13(4):600-612

    • [32] Mittal A,Soundararajan R,Bovik A C.Making a “completely blind” image quality analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212

    • [33] Wang J F,Chen Y,Dong Z K,et al.Improved YOLOv5 network for real-time multi-scale traffic sign detection[J].Neural Computing and Applications,2023,35(10):7853-7865

    • 地址：江苏省南京市宁六路219号    邮编：210044

    联系电话：025-58731025    E-mail：nxdxb@nuist.edu.cn

    南京信息工程大学学报 ® 2025 版权所有  技术支持：北京勤云科技发展有限公司