en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。
作者简介:

高仁强,男,工程师,研究方向为图像处理与人工智能.2447785997@qq.com

通讯作者:

陈亮雄,男,教授级高级工程师,研究方向为智慧水利.sky8826@qq.com

中图分类号:TP391

文献标识码:A

DOI:10.13878/j.cnki.jnuist.20240109002

参考文献 1
Thanh L T,Thanh D N H,Hue N M,et al.Single image dehazing based on adaptive histogram equalization and linearization of gamma correction[C]//2019 25th Asia-Pacific Conference on Communications(APCC).November 6-8,2019,Ho Chi Minh City,Vietnam.IEEE,2019:36-40
参考文献 2
Xu Z Y,Liu X M,Chen X N.Fog removal from video sequences using contrast limited adaptive histogram equalization[C]//2009 International Conference on Computational Intelligence and Software Engineering.December 11-13,2009,Wuhan,China.IEEE,2009:1-4
参考文献 3
Enesi I,Miho R.A fast algorithm for contrast restoration of weather degraded images[C]//2012 Sixth International Conference on Complex,Intelligent,and Software Intensive Systems.July 4-6,2012,Palermo,Italy.IEEE,2012:636-641
参考文献 4
Zotin A.Fast algorithm of image enhancement based on multi-scale retinex[J].Procedia Computer Science,2018,131:6-14
参考文献 5
Du Y,Guindon B,Cihlar J.Haze detection and removal in high resolution satellite image with wavelet analysis[J].IEEE Transactions on Geoscience and Remote Sensing,2002,40(1):210-217
参考文献 6
刘佳敏,何宁.基于改进同态滤波的低对比度图像增强[J].计算机应用与软件,2020,37(3):220-224.LIU Jiamin,HE Ning.Low contrast image enhancement based on improved homomorphic filtering[J].Computer Applications and Software,2020,37(3):220-224
参考文献 7
He K M,Sun J,Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25,2009,Miami,FL.IEEE,2009:1956-1963
参考文献 8
Berman D,Treibitz T,Avidan S.Non-local image dehazing[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:1674-1682
参考文献 9
Zhu Q S,Mai J M,Shao L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2015,24(11):3522-3533
参考文献 10
He K M,Sun J,Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409
参考文献 11
代书博,徐伟,朴永杰,等.基于暗原色先验的遥感图像去雾方法[J].光学学报,2017,37(3):0328002.DAI Shubo,XU Wei,PIAO Yongjie,et al.Remote sensing image defogging based on dark channel prior[J].Acta Optica Sinica,2017,37(3):0328002
参考文献 12
谭伟,曹世翔,齐文雯,等.一种高分辨率遥感图像去雾霾方法[J].光学学报,2019,39(3):48-58.TAN Wei,CAO Shixiang,QI Wenwen,et al.A haze removal method for high-resolution remote sensing images[J].Acta Optica Sinica,2019,39(3):48-58
参考文献 13
廖章回,姜闯.高分辨率遥感影像快速去雾[J].测绘学报,2022,51(3):446-456.LIAO Zhanghui,JIANG Chuang.Fast dehaze of high resolution remote sensing images[J].Acta Geodaetica et Cartographica Sinica,2022,51(3):446-456
参考文献 14
Cai B L,Xu X M,Jia K,et al.DehazeNet:an end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2016,25(11):5187-5198
参考文献 15
McCartney E J.Optics of the atmosphere:scattering by molecules and particles[M].New York:John Wiley and Sons,1976:23-32
参考文献 16
杨燕,张浩文,张金龙.结合天空分割和透射率映射的图像去雾[J].光学精密工程,2021,29(2):400-410.YANG Yan,ZHANG Haowen,ZHANG Jinlong.Single image dehazing combining sky segmentation and transmission mapping[J].Optics and Precision Engineering,2021,29(2):400-410
参考文献 17
金天虎,陶砚蕴,李佐勇.基于超像素图像分割的暗通道先验去雾改进算法[J].电子学报,2023,51(1):146-159.JIN Tianhu,TAO Yanyun,LI Zuoyong.An improved dark channel prior dehazing algorithm based on superpixel image segmentation[J].Acta Electronica Sinica,2023,51(1):146-159
参考文献 18
Geraets W G M,van Daatselaar A N,Verheij J G C.An efficient filling algorithm for counting regions[J].Computer Methods and Programs in Biomedicine,2004,76(1):1-11
参考文献 19
Zhu Y Y,Tang G Y,Zhang X Y,et al.Haze removal method for natural restoration of images with sky[J].Neurocomputing,2018,275:499-510
参考文献 20
Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282
参考文献 21
刘海波,杨杰,吴正平,等.基于区间估计的单幅图像快速去雾[J].电子与信息学报,2016,38(2):381-388.LIU Haibo,YANG Jie,WU Zhengping,et al.Fast single image dehazing based on interval estimation[J].Journal of Electronics & Information Technology,2016,38(2):381-388
参考文献 22
Zhang Y F,Ding L,Sharma G.HazeRD:an outdoor scene dataset and benchmark for single image dehazing[C]//2017 IEEE International Conference on Image Processing(ICIP).September 17-20,2017,Beijing,China.IEEE,2017:3205-3209
参考文献 23
Horé A,Ziou D.Image quality metrics:PSNR vs.SSIM[C]//2010 20th International Conference on Pattern Recognition.August 23-26,2010,Istanbul,Turkey.IEEE,2010:2366-2369
目录contents

    摘要

    针对经典图像去雾算法在边缘区域易产生光晕效应、天空等明亮区域还原失真、色调偏移等问题,提出一种基于天空检测和超像素分割的改进暗通道图像去雾新方法(Dark Channel Prior based on Sky Detection and Super Pixel,SSPDCP).首先对雾图采用HSV变换提取亮度分量进行自适应阈值分割;然后应用图像连通分析技术识别天空域;接着利用天空域估计大气光值,针对天空和非天空区域分别建立各自的透射率计算模型,并基于构建的超像素级透射率融合模型获得融合透射率图,以促进边界区域的平滑过渡,采用多尺度引导滤波精化透射率图;最后应用大气散射模型完成图像复原并进行亮度增强处理,实现无雾图像的自然恢复.该方法识别的天空区域较为连续完整,以超像素代替方形窗口可以有效克服局部块效应的影响,大气光值和透射率图估计更为客观准确.从主观定性和客观定量评价方面来看,该方法复原的图像具有整体误差小、信噪比优良、结构相似度高等优势.本文所提出的图像去雾新方法能有效抑制边缘区域的光晕效应,且复原的天空区域明亮自然,图像去雾质量相比现有方法有进一步提升.

    Abstract

    To address issues perplexing classic image dehazing methods,including halo effect in edge regions,color distortion in bright areas like sky,and hue shifts,we propose a novel image dehazing approach based on improved dark channel prior (SSPDCP:Dark Channel Prior based on Sky Detection and Super Pixel).This approach first applies HSV color transformation to hazy images to extract the brightness component for adaptive-threshold segmentation.Then it utilizes image connectivity analysis to identify the sky regions,from which the atmospheric light value is estimated,and separate transmittance maps of sky and non-sky areas are computed with a luminance model and a superpixel segmentation-based dark channel prior model,respectively.Subsequently,a superpixel-based fusion model is proposed to obtain a comprehensive transmittance map,ensuring smooth transition in boundary areas,which is further refined by multi-scale guided filtering.Finally,the dehazed image is naturally restored via the atmospheric scattering model and brightness enhancement processing.Experimental results show that the proposed approach identifies sky regions more continuously and completely,moreover,by employing superpixels instead of square windows,it effectively mitigates halo effects in acquiring transmittance maps.The estimation of atmospheric light values and transmittance maps is more objective and accurate.Both subjective qualitative and objective quantitative evaluations reveal advantages such as low overall error,excellent signal-to-noise ratio,and high structural similarity in dehazed images.Compared to the state-of-the-art methods,the proposed approach restores skies more naturally,weakens halo effect in edge regions,and achieves qualitative and quantitative improvements in dehazing performance.

  • 0 引言

  • 在雾霾等天气条件下获得的户外图像,由于受到大气中的水汽、气溶胶等介质的吸收和散射的影响,会出现对比度降低、颜色失真、影像模糊等一系列问题,极大地降低了信息辨识度和图像使用价值,造成视频监控系统、目标跟踪系统、自动驾驶系统等户外视觉系统实用性下降,使得无人机巡河、自然灾害监测、军事航空侦察等领域的应用受到限制,尤其是获取灾情险情和应急抢险等场景的视频图像资料时,云、雾的存在会使得图像发生退化,导致成像质量欠佳进而影响决策指挥和救援效率.因此,研究快速高效的图像去雾算法,最大限度降低雾对图像质量的影响,具有十分重要的应用价值.

  • 现有的图像去雾方法可归纳为基于图像增强原理、基于物理模型和基于深度学习理论三大类.基于图像增强原理的去雾主要通过提高图像的对比度和清晰度以改善视觉效果而实现去雾目标,如直方图均衡方法[1-2]、对比度增强方法[3]、Retinex[4]、小波变换[5]、同态滤波方法[6]等,该类方法易出现过饱和和偏色现象、放大噪声等失真问题.基于物理模型原理的图像去雾方法以大气散射模型为理论基础,利用一些先验条件和假设信息,通过求解图像退化过程的逆过程来复原图像,如暗通道先验(Dark Channel Prior,DCP)[7]、非局部先验(Non-Local Prior)[8]、颜色衰减先验(Color Attenuation Prior,CAP)[9]等去雾方法,该类方法因考虑了图像雾化的本质,因此图像去雾更符合客观规律、实用性强.其中,He等[7]通过对大量室外图像的统计分析提出的暗通道先验去雾算法是典型代表,多数场合下能取得良好的去雾效果,但由于天空等明亮区域不满足先验条件,导致该算法在天空等明亮区域失效,加之在边缘区域易产生光晕效应,且软抠图算法复杂度高,在实际应用中存在诸多限制条件.2013年,He等[10]对暗通道先验算法进行优化,采用引导滤波代替软抠图进行透射率优化,大幅提升图像去雾速度,但依旧无法解决光晕效应和在天空等明亮区域失效的问题.除可见光图像外,部分学者结合遥感影像特点对暗通道先验算法进行优化改进,并应用于高分辨率卫星遥感影像去雾,有效地改善了有雾遥感影像的质量,同时拓展了暗通道先验算法的应用领域[11-13].基于深度学习理论的图像去雾方法通过卷积神经网络建立含雾图像与无雾图像或者透射率图之间的深度学习模型,然后应用该模型恢复无雾图像,如Cai等[14]建立的DehazeNet将大气散射与深度学习有机结合,取得了良好的图像去雾效果,但是该方法需要大量的有雾-无雾图像对或雾图-透射率图样本数据,模型训练样本获取难度大且应用成本较高,导致实用性下降,因此对传统方法的改进和研究依然是热点.

  • 针对现有方法的不足,本文提出一种基于天空检测和超像素分割的图像去雾新方法(Dark Channel Prior based on Sky Detection and Super Pixel,SSPDCP).首先,利用提出的自适应阈值分割方法,将整幅图像自动划分为天空域和非天空域两部分;其次,根据天空域估计大气光值,以避免较大面积白色物体(如建筑物)的干扰;然后,针对天空域,采用亮度模型估计透射率,针对非天空域,则采用超像素分割得到景深和纹理特征近似的超像素块,计算超像素块的暗通道值进而估计透射率,并基于超像素级透射率融合模型获得融合透射率图,有效解决光晕效应问题并降低天空区域过度分割的计算开销;接着,采用多尺度引导滤波精化透射率图,有效平衡透射率图的平滑效果和边缘保持性能;最后,应用大气散射模型完成图像复原并进行亮度增强处理,实现无雾图像的自然恢复.

  • 1 暗通道先验去雾

  • 1.1 大气散射模型

  • 大气散射模型最早由McCartney[15]提出,是一种图像退化模型,其数学表达式为

  • I(x)=J(x)t(x)+A[1-t(x)],
    (1)
  • t(x)=exp[-βd(x)].
    (2)
  • 其中:x为像素点位置;I为含雾图像;J为无雾图像;tx)为透射率;β为大气散射系数;d为景深.式(1)右边第1项Jxtx)为入射衰减项,表明雾的存在会造成目标反射光在介质中传输发生衰减,且与场景深度d之间呈现指数衰减规律;A[1-tx)]为大气散射光,该项造成了场景的模糊和颜色失真.由式(1)可得:

  • J(x)=I(x)-At(x)+A.
    (3)
  • 由于I已知,因此去雾的目的就是求出tA,然后根据式(3)恢复出无雾图像J.

  • 1.2 暗通道先验去雾原理

  • He等[7]通过对大量清晰无雾的户外图像进行统计分析发现:在绝大多数非天空的局部区域中,总存在某些像素至少有一个颜色通道的值很低.对于一幅无雾图像J,其暗通道为

  • Jdark (x)=minyΩ(x) minc{r,g,b} Jc(x)0.
    (4)
  • 其中:Ωx)表示以x为中心的方形窗口;J的下标c表示RGB三个通道.暗通道先验理论指出,对于非天空区域的无雾图像,其暗通道值趋于0.根据大气散射模型,对式(1)变形得:

  • Ic(x)Ac=t(x)Jc(x)Ac+1-t(x).
    (5)
  • 式(5)两边同时执行两次最小值运算,可得:

  • minyΩ(x) minc{r,g,b} Ic(x)Ac=t(x)minyΩ(x) minc{r,g,b} Jc(x)Ac+1-t(x).
    (6)
  • 根据暗通道先验理论可知,式(6)右边第1项近似为0,由此可得t~x的预估值为

  • t~(x)=1-ωminyΩ(x) minc{r,g,b} Ic(x)Ac.
    (7)
  • 式中,w是为了保留一定残雾以改善复原图像的自然效果而引入的调节因子,一般取0.95.式(7)的关键未知数是大气光值A,可先求取暗通道图,在暗通道图中按照亮度的大小进行排序提取最亮的前0.1%的像素,然后在原始雾图I中找对应的像素点求取均值,作为大气光值A.在求得tA的基础上,利用大气散射模型即可恢复无雾图像J.

  • 暗通道先验算法虽然简单有效,但存在以下不足:

  • 1)由于天空等明亮区域不满足暗通道先验假设[16],因此,基于该先验得到的天空区域的透射率存在较大误差继而引起颜色失真.为了修正天空域的透射率,需从雾图上提取天空域,现有的天空检测方法普遍存在结果不连续和阈值自适应性较差等问题.

  • 2)暗通道先验假设局部区域的透射率恒定,但是对于存在景深突变的局部区域而言并不成立,导致透射率图易出现局部块效应,特别是背景天空与前景目标交界等区域,这也是图像复原产生光晕效应的根本原因.为减少局部块效应,部分学者采用超像素代替方形窗口对整幅图像进行分割[17].为减少背景天空与前景目标边界像元的混淆,将整幅图像分割得非常破碎,不仅计算效率低,过度分割还不可避免地降低了超像素内暗像元的出现几率,从而加重颜色失真.

  • 3)理想情况下,大气光应被选取在景深无穷远的天空区域中,但是暗通道先验算法易将大气光值选取在较大面积的明亮物体如白色建筑物上,导致复原图像容易产生色偏.

  • 4)采用引导滤波对透射率图进行平滑时,滤波窗口过小可以保留局部更多的边缘细节,但会降低图像的平滑力度,滤波窗口过大可以增大图像的平滑力度,但会损失边缘细节信息,现有方法大多采用单一尺度窗口进行引导滤波,难以兼顾图像的边缘特性和平滑力度之间的平衡.

  • 2 SSPDCP算法

  • 本文提出的SSPDCP算法流程如图1所示.首先,对雾图采用HSV色彩变换提取亮度分量进行自适应阈值分割,再应用图像连通分析技术识别天空域;然后,利用天空域估计大气光值,并基于亮度模型构建天空域粗透射率模型,非天空域则采用超像素分割技术并基于暗通道先验计算其粗透射率模型,通过超像素级透射率融合模型获得融合透射率图;接着,采用多尺度引导滤波技术精化透射率图;最后,应用大气散射模型完成图像复原并进行亮度增强处理,实现无雾图像的自然恢复.

  • 2.1 天空域自适应分割

  • 通过观察大量的室外图像发现,天空区域一般具有亮度高、成片分布、变化平缓的特点,导致含有天空区域的图像的亮度直方图呈现双峰或者多峰的分布特征(图2).根据这一特点,本文首先对雾图采用HSV色彩变换技术提取亮度分量,并采用形态学滤波开运算去除噪声、填充孔洞;然后计算亮度分量的灰度直方图,选取紧邻直方图最右侧波峰的左侧波谷作为分割阈值进行图像二值化处理,获得天空像元的初始分割.考虑到天空像元一般位于顶部区域,应用图像连通分析技术提取顶部连通分量获得天空区域.

  • 采用HSV色彩变换技术提取亮度分量图,从RGB图像获取亮度分量的数学模型为

  • V=maxLr,Lg,Lb.
    (8)
  • 其中:LrLgLb分别对应于表示输入图像的R、G、B三个通道的灰度值.

  • 本文采用非极大值抑制的思想对灰度级接近的波峰和波谷进行筛选,仅保留在一定灰度区间内取得极值的波峰和波谷,本文的波峰和波谷具有如下特性:

  • l1=argmini(l-λ,l+λ)Vi,l2=argmaxi(l-λ,l+λ)Vi,i(0,255).
    (9)
  • 其中:l1l2分别表示直方图波峰和波谷对应的灰度级;Vi表示灰度级为i时对应的像元数;参数λ用于控制相邻波峰或波谷的最小灰度间距,该参数对分割结果具有重要影响.预先设置一系列不同的λ值计算分割阈值(波谷),当求得的最右侧波谷值不小于图像灰度级范围的一半时,该波谷即为所求阈值并应用其进行二值化,以获得天空域和非天空域的初始分割,接着采用种子填充法[18]对分割图进行图像连通域分析以获得全部的连通分量并做好标记,再将处于图像顶部的连通分量保留下来,并将其他不同于顶部连通分量标记的剩余连通分量全部填充为背景像元,进而实现天空域的自动识别与分割.

  • 2.2 全局大气光值优化

  • 由式(1)、(2)可知,当dx)→∞时,tx)→0,Ix)→A,也就是说,无穷远处的透射率t近似为0,对应的像元近似等于大气光值A,而天空近似于无穷远,因此可利用天空域像元估计大气光值.

  • 经典暗通道先验算法直接选取暗通道图像前0.1%像素的高值像元对应原始雾图的像素平均值作为大气光值,实际应用过程中,最亮的像素点可能存在于白色明亮物体中,若对全图采取前0.1%像素估计大气光值可能会带来较大误差.本文分别针对有天空域和无天空域两种情形建立不同的全局大气光估计模型:有天空域的情形下,选取天空域的暗通道图像前0.1%的高值像元对应原始雾图的像素平均值作为大气光值A;无天空域的情形下,则选取全图的暗通道图像中前0.1%的高值像元对应原始雾图的像素平均值作为大气光值A.这样做可以避免将大气光错误地估计在较大面积的明亮物体如白色建筑物上,又可以避免图像噪声所带来的干扰.

  • 图1 本文算法流程

  • Fig.1 Flow chart of the proposed dehazing approach

  • 图2 含天空域的雾图特征

  • Fig.2 Characteristics of haze image with sky area

  • 2.3 超像素级透射率融合模型

  • 2.3.1 天空域粗透射率估计

  • Zhu等[19]分析发现含雾图像天空区域的亮度分量远高于前景,且亮度分量正比于场景深度d,因此,本文采用亮度分量代替景深近似表达天空区域的辐射传输规律,基于亮度模型计算天空域的透射率,其计算方法为

  • (10)
  • 其中:βrβgβb分别表示红绿蓝三个通道的大气散射系数,一般相机角度取60°即可捕获天空,因此本文取米氏散射模型中60°角散射系数,分别为0.332 4、0.343 3和0.350 2;γ是亮度模型的透射率系数(取值1~6之间,取3.5可满足多数场景需求);V表示输入图像经HSV色彩变换后得到的明度分量;V′表示对V进行局部最小值滤波;V*表示该明度分量的最大值,为减少数据噪声影响,一般取V的90%分位数即可.

  • 2.3.2 非天空域粗透射率估计

  • 经典的暗通道先验去雾算法采用固定大小的方形滤波窗口求取暗通道,该方法的前提假设是局部区域的透射率相同,但对于存在景深突变的局部区域(如目标边缘)该假设并不成立.超像素则是指具有相似纹理、颜色、亮度等特征的像素块,其内部像元的属性和景深相对一致,可以很好地解决方形滤波窗口难以适应景深突变带来的透射率不一致问题,因此本文采用超像素计算暗通道和透射率.由于相比其他的分割方法而言,简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)超像素分割方法在运行速度、像素块紧凑度、特征相似度等方面都比较理想,因此本文采用SLIC算法[20]对非天空区域进行超像素分割(图3d),然后以超像素块为单元计算非天空域的初始透射率.非天空域透射率计算方法为

  • tnon-sky (x,y)=1-w×minyΩsp minc{r,g,b} Ic(x,y)Ac.
    (11)
  • 其中:w表示去雾调节因子,取值范围为[0.9,1];Ωspx)表示以x为中心的超像素块;Ωx)表示以x为中心的滤波窗口;A表示大气光值.

  • 2.3.3 透射率融合

  • 为使得天空与非天空区域的透射率整体过渡平滑自然,降低边缘区域可能引发的跳跃现象,理想情况下,两种透射率模型计算得到的边界像元透射率值应尽可能接近.本文针对边界区域基于最小二乘法原理,在过渡区域内建立天空像元与非天空像元的透射率回归拟合模型,以此修正天空区域的透射率,基于图像融合原理[21],采用加权融合计算获得融合透射率图(图3e),以促进边缘区域的平滑过渡,优化透射率图的边缘视觉效果.应用非天空区域透射率修正天空区域的透射率方法为

  • (12)
  • 融合透射率计算方法为

  • (13)
  • 其中:a表示回归拟合系数;b表示截距;W表示融合权重矩阵.融合后的透射率还只是一个粗略值,需要对其进一步细化平滑.

  • 2.4 多尺度引导滤波精化透射率

  • 基于超像素级的透射率融合模型能有效缓解局部块效应问题,但在图像的边缘细节方面还是很粗糙,采用引导滤波(Guide filter)[10]这类边缘保持滤波器对融合透射率图进行精化,以原始雾图作为引导图像,融合透射率图作为待滤波图像,使得精化后的透射率图既能保持原始雾图的边缘特性,又能起到图像平滑的作用.假设待滤波图像为P,引导图像为I,则引导滤波的输出图像O是引导图像I的线性变换:

  • Oi=akIi+bk,iwk.
    (14)
  • 其中:wk是以像素k为中心的滤波窗口;akbk为滤波系数,通过最小化目标函数Eakbk=minΣiwkakIi+bk-Pi2+εak2求得;ε是正则化系数,用于减少过拟合.

  • 滤波窗口大小是决定引导滤波效果的一个重要参数,现有研究大多是根据实践经验设置单一固定的窗口大小,而固定的窗口大小难以完全适应不同分辨率和纹理变化的应用场景.通过观察和实验,以图像尺寸最大边的平方根作为滤波半径r的参考值(相应窗口大小为2r+1),在此基础上放大至2倍和缩小至12分别作为多尺度区间上下限,构成连续尺度序列的多尺度引导滤波器,然后对各个尺度的引导滤波结果赋予不同权值,最后加权得到精化透射率图,可有效平衡图像平滑效果和边缘保持性能,适应不同分辨率和纹理变化的应用场景需求.

  • 多尺度引导滤波相比传统的引导滤波会带来大量的图像运算,为提高计算效率、去除块效应、增强图像细节表达能力,本文在引导滤波的基础上进一步优化:1)对引导图像和待滤波图像按照采样率s进行下采样处理;2)对下采样处理后的输入图像进行引导滤波分析计算滤波系数图;3)将计算结果逆向上采样再应用于原始输入图像.以下采样图像代替原始图像执行多尺度引导滤波分析将大幅降低计算复杂度.如果图像的采样率为s,则引导滤波的计算复杂度将由omn)降为omn/s2).

  • 2.5 图像去雾复原

  • 将求得的大气光值和透射率值代入雾化模型恢复无雾图像,为防止透射率过小,本文设置透射率的下限值t0(一般取0.1),由此得到去雾图像J

  • 图3 透射率图计算过程

  • Fig.3 Workflow for computing transmittance map

  • J(x)=I(x)-Amaxt(x),t0+A.
    (15)
  • 其中:Ix)表示输入图像的灰度值;A表示全局大气光值;tx)表示经过引导滤波计算得到的透射率值;t0表示透射率的下限值(避免透射率值过低出现结果异常).

  • 复原的去雾图像有可能出现色调整体偏暗的现象,可对去雾图像进行亮度增强处理.通过增大最亮像素与最暗像素的灰度差距,从而提高图像的整体亮度和对比度,具体方法如下:

  • Y=Imean +α×I-Imean .
    (16)
  • 其中:Imean表示I的灰度均值图像;α表示对比度调节因子,当α >1时,将增强对比度,当α <1时,将减弱图像对比度.

  • 3 结果与分析

  • 为了充分证明本文方法的实用性和可靠性,研究中广泛使用各类形式的图像数据进行试验,包括三大类:第一类来源于互联网在线搜索和开放数据集,称之为网络数据集,如O-Haze数据集;第二类是基于大气散射模型,对无雾图像添加均匀分布的随机大气光模拟雾气合成而得到的,称之为模拟数据集;第三类则是指通过手机、数码相机、无人机摄像头等拍摄得到的实际场景图像,称之为测试数据集,同时利用固定相机获得晴天条件下的图像作为参考数据集.

  • 为验证本文算法的性能,从天空分割结果、透射率估计对比、多尺度引导滤波分析、图像去雾细节比较和模型效果评价五个方面将本文方法与经典图像去雾方法进行比较.

  • 3.1 天空分割效果

  • 采用本文提出的SSPDCP算法分别对无雾和有雾图像进行实验,天空域识别结果如图4所示.其中:图4a是输入影像(无雾图像在上,有雾图像在下);图4b是亮度分量直方图;图4b蓝线是基于最大类间方差(OSTU)算法得到的阈值分割线,对应的天空域分割结果如图4c所示; 图4b红线则是本文算法的阈值分割线,对应的天空域分割结果如图4d所示.可以发现,直接采用OSTU算法提取的天空域存在以下两个突出问题:一是分割阈值的自适应性差,容易在结果中引入伪像元;二是容易产生碎片噪声(如黑色圆圈),导致提取的天空域准确率较低.而本算法通过波宽w自适应调整阈值和形态学运算并结合最大连通域分析有效剔除了碎片和伪像元的干扰,使天空域识别结果更为连续完整、合理可靠,不论对于有雾还是无雾图像,本方法都能取得非常好的识别效果.

  • 3.2 透射率估计方法对比

  • 采用本文提出的SSPDCP算法与经典DCP算法分别对雾图进行透射率估计,图5是两者的对比结果.不难看出,经典的DCP算法存在以下两个突出问题:一是暗通道和透射率图均存在明显的局部块效应,导致在景深突变的建筑物边缘产生较大误差;二是天空域的透射率偏低且整体变化比较剧烈,不符合常理.而SSPDCP算法通过自适应阈值分割技术将图像分成天空和非天空区域两部分,并以超像素块为单元计算非天空域的透射率,有效克服了块效应的影响,而天空域部分则采用亮度模型进行估计,天空域的透射率变化更为平缓,同时在边界处进行图像融合处理,使得全图透射率结果更为合理可靠.

  • 3.3 多尺度引导滤波分析

  • 图6是多尺度引导滤波和单尺度引导滤波的实验结果对比.观察可知,随着滤波尺度的逐渐增大,透射率图的平滑性能越来越强,景深突变引起的透射率变化被平滑,图像前景的边缘与背景天空渐渐同化,导致边缘细节保持能力逐渐减弱;而尺度较小的情况下,透射率图的边缘细节比较明显,但是平坦区域的透射率得不到有效平滑导致去雾图像的整体亮度出现过亮或过暗,进而降低图像的对比度和清晰度.而多尺度引导滤波能有效平衡平坦区域的去噪平滑效果和景深突变处的边缘保持性能,有效弥补了单一尺度的局限性,去雾结果更加符合实际,复原图像兼顾了细节信息丰富和边缘保持良好两大特性.

  • 3.4 图像去雾细节比较

  • 3.4.1 网络数据集

  • 图7是在网络数据集上采用本文SSPDCP方法和经典图像去雾算法的对比实验结果.由图7可知:暗通道先验去雾算法容易在天空等明亮区域周围产生光晕效应,导致复原结果存在颜色失真、对比度下降、在景深变化大的区域周围产生伪边缘等不足;文献[17]算法采用全图超像素分割对透射率图估计进行优化,光晕效应明显得到缓解,但无法准确估计天空区域的大气光和透射率导致色调易发生突变;非局部先验去雾算法基本不受天空等明亮区域的影响,图色调暗淡并伴随颜色偏移;颜色衰减先验去雾算法的去雾效果则相对缓和,去雾不够彻底,复原图像的对比度提升不明显;本文方法不仅能有效抑制光晕效应的出现,恢复的天空区域明亮自然,且针对远距离的建筑物、中距离的车辆以及近距离的花草树木都能取得良好效果,去雾结果更接近实际.

  • 图4 天空域识别结果

  • Fig.4 Results of extracted sky area

  • 图5 SSPDCP算法和DCP算法比较

  • Fig.5 Comparison between SSPDCP and DCP algorithms

  • 图6 多尺度引导滤波与单尺度滤波的去雾效果比较

  • Fig.6 Dehazing performance comparison between multi-scale guided filter and single-scale filters

  • 3.4.2 模拟数据集

  • 图8是在模拟数据集上采用本文SSPDCP方法和经典图像去雾算法的实验结果对比.观察发现:暗通道先验去雾算法能取得一定的去雾效果,但在天空与建筑物交界处出现颜色失真和光晕效应,从而产生伪边缘;文献[17]算法容易受到白色物体和天空的影响,导致大气光值估计误差大,复原图像整体容易出现过饱和偏色现象,相比暗通道先验算法而言光晕效应有所缓解;非局部先验去雾算法对图像噪声较为敏感,合成图像的过程中由于引入了一定量的随机噪声,该算法不能准确识别雾线导致复原图像色调偏移并且边缘模糊;颜色衰减先验去雾算法的去雾效果则相对缓和,复原图像与原始图像相比清晰度有所提升,但还是无法清晰识别建筑物边缘和树叶轮廓;本文的方法不仅能有效抑制光晕效应的出现,恢复的天空区域明亮自然,而且复原图像的边缘细节比较清晰、色调和谐、视觉效果也比较好.

  • 图7 网络数据集上不同算法的去雾效果比较

  • Fig.7 Dehazing results of different algorithms on online dataset

  • 图8 模拟数据集上不同算法的去雾效果比较

  • Fig.8 Dehazing results of different algorithms on synthesis dataset

  • 为分析不同浓度的雾气对算法性能的影响,依据大气散射模型并参考Zhang等[22]的研究,在无雾图像上添加不同可见度的雾气模拟不同浓度的雾天场景,以测试算法的鲁棒性,结果见图9.容易看出:随着雾气浓度的增大(即能见度d减小),暗通道先验、文献[17]、非局部先验以及颜色衰减先验等算法受雾气浓度影响较大,雾气浓度越大则去雾效果越不稳定.相对而言,SSPDCP算法的去雾效果受雾气浓度影响相对较小,整体上表现比较稳健,复原的图像细节信息丰富、色调和谐、视觉效果也比较好.

  • 3.4.3 测试数据集

  • 图10是在测试数据集上采用本文SSPDCP方法和经典图像去雾算法的对比实验结果.观察可知:暗通道先验去雾算法在建筑物边缘易产生光晕效应、天空区域周围出现偏色,复原图像的伪边缘现象较为严重;文献[17]算法采用全图超像素分割进行优化取得了一定效果,由于受到白色物体和天空的影响,图像光晕明显减少但整体容易出现过饱和偏色现象;真实场景的噪声情况比模拟数据更为复杂,导致非局部先验去雾算法准确识别雾线更加困难,尤其是在云层较厚、雾气较浓的区域,去雾结果容易产生较为严重的色调偏差和颜色失真;颜色衰减先验算法相比暗通道先验和非局部先验算法而言更为稳健,但是对于雾气较浓或云层较厚的区域,场景光能量损失大,因而去雾不够彻底;相对而言,本文方法对不同浓度的云雾均有一定的适应性,复原图像整体亮度适中、色调和谐、细节信息丰富、边缘保持良好.

  • 图9 不同雾气浓度场景下的去雾效果比较(从上到下能见度依次为d=100、200、300、500 m)

  • Fig.9 Dehazing results of different algorithms on diverse haze densities (visibility from top to bottom:d=100 m, 200 m, 300 m, and 500 m)

  • 3.5 模型效果评价

  • 研究中选择均方误差MSE、峰值信噪比PSNR和结构相似性指数SSIM[23]作为评价指标,对各模型的去雾效果进行定量评估,以进一步说明本文算法的优势与不足.MSE值越小,说明两图像整体差异小,但容易受到图像中的噪声点影响;PSNR即峰值信号能量与噪声能量的比值,PSNR值越大,则去雾图像质量越好,失真越小;SSIM综合反映了去雾图像与参考图像之间亮度、对比度和结构的相似度,能弥补人眼视觉对于像素误差的不敏感缺陷.相同的MSE和PSNR值可以对应不同形式的图像组合,这些图像的内容差别很大,难以通过MSE和PSNR进行质量评价,而SSIM指标可以量化差异,实用性更强,SSIM越接近1,则去雾图像质量越好,SSIM越接近于0,则图像去雾质量较差.

  • 图10 测试数据集上不同算法的去雾效果比较

  • Fig.10 Dehazing results of different algorithms on test dataset

  • 采用上述指标对实验结果进行精度评估,各指标对比结果如表1所示.从表1可以看出(表中粗体表示性能最优项):在网络数据集和模拟数据集上,本文算法的各项评价指标均优于其他4种算法,这与主观评价结果基本吻合,证明本文方法的雾图复原结果存在整体误差小、结构相似度高的优势,这主要得益于大气光值的准确估计以及透射率的融合优化;在测试数据集上,本文的MSE和PSNR指标略逊于颜色衰减先验算法,但两者相差非常小,而结构相似性方面本文算法明显更占优势.综合来看,相比于经典的图像去雾方法而言,本文方法在网络数据集、模拟数据集和测试数据集上恢复的雾图具有整体误差小、信噪比优良、结构相似度高等优势,图像去雾效果相比经典的去雾算法有进一步提升.

  • 为体现算法适用于实时应用场景,本文对不同算法的运行时间进行了比较,结果如表2所示.总体来看,颜色衰减先验算法的运行时间最短,非局部先验算法运行时间最长,而以暗通道先验为基础的算法时间较为接近,均为秒级响应.对比本文算法与暗通道先验算法可以发现:本文算法由于增加了天空域识别和超像素分割过程,因而算法运行时间要比原始暗通道算法增加40%左右;文献[17]由于采用全图超像素分割策略,图像分割的计算量相对较大,尽管没有天空域检测的过程,但综合下来时间效率要比本文算法更低.

  • 4 结论

  • 本文针对经典图像去雾算法在边缘区域易产生光晕效应、天空等明亮区域还原失真、色调偏移等问题,提出一种基于天空检测和超像素分割的图像去雾新方法.在网络数据集、模拟数据集和测试数据集进行了实验验证,结果表明该方法不仅能有效抑制边缘区域的光晕效应,且复原图像的天空区域明亮自然,可以在提高去雾图像的清晰度和对比度的同时保留图像细节信息.本文方法在定性和定量评价中均表现出较大优势.尽管本文算法取得了良好的去雾效果,但也存在一些不足,比如浓雾场景下的去雾效果还有待加强,未来将会在提升模型对雾气浓度的鲁棒性方面开展深入研究.

  • 表1 不同模型算法的定量评价指标比较

  • Table1 Quantitative metrics comparison between different algorithms

  • 表2 不同算法运行时间比较

  • Table2 Computing performance comparison

  • 参考文献

    • [1] Thanh L T,Thanh D N H,Hue N M,et al.Single image dehazing based on adaptive histogram equalization and linearization of gamma correction[C]//2019 25th Asia-Pacific Conference on Communications(APCC).November 6-8,2019,Ho Chi Minh City,Vietnam.IEEE,2019:36-40

    • [2] Xu Z Y,Liu X M,Chen X N.Fog removal from video sequences using contrast limited adaptive histogram equalization[C]//2009 International Conference on Computational Intelligence and Software Engineering.December 11-13,2009,Wuhan,China.IEEE,2009:1-4

    • [3] Enesi I,Miho R.A fast algorithm for contrast restoration of weather degraded images[C]//2012 Sixth International Conference on Complex,Intelligent,and Software Intensive Systems.July 4-6,2012,Palermo,Italy.IEEE,2012:636-641

    • [4] Zotin A.Fast algorithm of image enhancement based on multi-scale retinex[J].Procedia Computer Science,2018,131:6-14

    • [5] Du Y,Guindon B,Cihlar J.Haze detection and removal in high resolution satellite image with wavelet analysis[J].IEEE Transactions on Geoscience and Remote Sensing,2002,40(1):210-217

    • [6] 刘佳敏,何宁.基于改进同态滤波的低对比度图像增强[J].计算机应用与软件,2020,37(3):220-224.LIU Jiamin,HE Ning.Low contrast image enhancement based on improved homomorphic filtering[J].Computer Applications and Software,2020,37(3):220-224

    • [7] He K M,Sun J,Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25,2009,Miami,FL.IEEE,2009:1956-1963

    • [8] Berman D,Treibitz T,Avidan S.Non-local image dehazing[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:1674-1682

    • [9] Zhu Q S,Mai J M,Shao L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2015,24(11):3522-3533

    • [10] He K M,Sun J,Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409

    • [11] 代书博,徐伟,朴永杰,等.基于暗原色先验的遥感图像去雾方法[J].光学学报,2017,37(3):0328002.DAI Shubo,XU Wei,PIAO Yongjie,et al.Remote sensing image defogging based on dark channel prior[J].Acta Optica Sinica,2017,37(3):0328002

    • [12] 谭伟,曹世翔,齐文雯,等.一种高分辨率遥感图像去雾霾方法[J].光学学报,2019,39(3):48-58.TAN Wei,CAO Shixiang,QI Wenwen,et al.A haze removal method for high-resolution remote sensing images[J].Acta Optica Sinica,2019,39(3):48-58

    • [13] 廖章回,姜闯.高分辨率遥感影像快速去雾[J].测绘学报,2022,51(3):446-456.LIAO Zhanghui,JIANG Chuang.Fast dehaze of high resolution remote sensing images[J].Acta Geodaetica et Cartographica Sinica,2022,51(3):446-456

    • [14] Cai B L,Xu X M,Jia K,et al.DehazeNet:an end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2016,25(11):5187-5198

    • [15] McCartney E J.Optics of the atmosphere:scattering by molecules and particles[M].New York:John Wiley and Sons,1976:23-32

    • [16] 杨燕,张浩文,张金龙.结合天空分割和透射率映射的图像去雾[J].光学精密工程,2021,29(2):400-410.YANG Yan,ZHANG Haowen,ZHANG Jinlong.Single image dehazing combining sky segmentation and transmission mapping[J].Optics and Precision Engineering,2021,29(2):400-410

    • [17] 金天虎,陶砚蕴,李佐勇.基于超像素图像分割的暗通道先验去雾改进算法[J].电子学报,2023,51(1):146-159.JIN Tianhu,TAO Yanyun,LI Zuoyong.An improved dark channel prior dehazing algorithm based on superpixel image segmentation[J].Acta Electronica Sinica,2023,51(1):146-159

    • [18] Geraets W G M,van Daatselaar A N,Verheij J G C.An efficient filling algorithm for counting regions[J].Computer Methods and Programs in Biomedicine,2004,76(1):1-11

    • [19] Zhu Y Y,Tang G Y,Zhang X Y,et al.Haze removal method for natural restoration of images with sky[J].Neurocomputing,2018,275:499-510

    • [20] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282

    • [21] 刘海波,杨杰,吴正平,等.基于区间估计的单幅图像快速去雾[J].电子与信息学报,2016,38(2):381-388.LIU Haibo,YANG Jie,WU Zhengping,et al.Fast single image dehazing based on interval estimation[J].Journal of Electronics & Information Technology,2016,38(2):381-388

    • [22] Zhang Y F,Ding L,Sharma G.HazeRD:an outdoor scene dataset and benchmark for single image dehazing[C]//2017 IEEE International Conference on Image Processing(ICIP).September 17-20,2017,Beijing,China.IEEE,2017:3205-3209

    • [23] Horé A,Ziou D.Image quality metrics:PSNR vs.SSIM[C]//2010 20th International Conference on Pattern Recognition.August 23-26,2010,Istanbul,Turkey.IEEE,2010:2366-2369

  • 参考文献

    • [1] Thanh L T,Thanh D N H,Hue N M,et al.Single image dehazing based on adaptive histogram equalization and linearization of gamma correction[C]//2019 25th Asia-Pacific Conference on Communications(APCC).November 6-8,2019,Ho Chi Minh City,Vietnam.IEEE,2019:36-40

    • [2] Xu Z Y,Liu X M,Chen X N.Fog removal from video sequences using contrast limited adaptive histogram equalization[C]//2009 International Conference on Computational Intelligence and Software Engineering.December 11-13,2009,Wuhan,China.IEEE,2009:1-4

    • [3] Enesi I,Miho R.A fast algorithm for contrast restoration of weather degraded images[C]//2012 Sixth International Conference on Complex,Intelligent,and Software Intensive Systems.July 4-6,2012,Palermo,Italy.IEEE,2012:636-641

    • [4] Zotin A.Fast algorithm of image enhancement based on multi-scale retinex[J].Procedia Computer Science,2018,131:6-14

    • [5] Du Y,Guindon B,Cihlar J.Haze detection and removal in high resolution satellite image with wavelet analysis[J].IEEE Transactions on Geoscience and Remote Sensing,2002,40(1):210-217

    • [6] 刘佳敏,何宁.基于改进同态滤波的低对比度图像增强[J].计算机应用与软件,2020,37(3):220-224.LIU Jiamin,HE Ning.Low contrast image enhancement based on improved homomorphic filtering[J].Computer Applications and Software,2020,37(3):220-224

    • [7] He K M,Sun J,Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25,2009,Miami,FL.IEEE,2009:1956-1963

    • [8] Berman D,Treibitz T,Avidan S.Non-local image dehazing[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:1674-1682

    • [9] Zhu Q S,Mai J M,Shao L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2015,24(11):3522-3533

    • [10] He K M,Sun J,Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409

    • [11] 代书博,徐伟,朴永杰,等.基于暗原色先验的遥感图像去雾方法[J].光学学报,2017,37(3):0328002.DAI Shubo,XU Wei,PIAO Yongjie,et al.Remote sensing image defogging based on dark channel prior[J].Acta Optica Sinica,2017,37(3):0328002

    • [12] 谭伟,曹世翔,齐文雯,等.一种高分辨率遥感图像去雾霾方法[J].光学学报,2019,39(3):48-58.TAN Wei,CAO Shixiang,QI Wenwen,et al.A haze removal method for high-resolution remote sensing images[J].Acta Optica Sinica,2019,39(3):48-58

    • [13] 廖章回,姜闯.高分辨率遥感影像快速去雾[J].测绘学报,2022,51(3):446-456.LIAO Zhanghui,JIANG Chuang.Fast dehaze of high resolution remote sensing images[J].Acta Geodaetica et Cartographica Sinica,2022,51(3):446-456

    • [14] Cai B L,Xu X M,Jia K,et al.DehazeNet:an end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society,2016,25(11):5187-5198

    • [15] McCartney E J.Optics of the atmosphere:scattering by molecules and particles[M].New York:John Wiley and Sons,1976:23-32

    • [16] 杨燕,张浩文,张金龙.结合天空分割和透射率映射的图像去雾[J].光学精密工程,2021,29(2):400-410.YANG Yan,ZHANG Haowen,ZHANG Jinlong.Single image dehazing combining sky segmentation and transmission mapping[J].Optics and Precision Engineering,2021,29(2):400-410

    • [17] 金天虎,陶砚蕴,李佐勇.基于超像素图像分割的暗通道先验去雾改进算法[J].电子学报,2023,51(1):146-159.JIN Tianhu,TAO Yanyun,LI Zuoyong.An improved dark channel prior dehazing algorithm based on superpixel image segmentation[J].Acta Electronica Sinica,2023,51(1):146-159

    • [18] Geraets W G M,van Daatselaar A N,Verheij J G C.An efficient filling algorithm for counting regions[J].Computer Methods and Programs in Biomedicine,2004,76(1):1-11

    • [19] Zhu Y Y,Tang G Y,Zhang X Y,et al.Haze removal method for natural restoration of images with sky[J].Neurocomputing,2018,275:499-510

    • [20] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282

    • [21] 刘海波,杨杰,吴正平,等.基于区间估计的单幅图像快速去雾[J].电子与信息学报,2016,38(2):381-388.LIU Haibo,YANG Jie,WU Zhengping,et al.Fast single image dehazing based on interval estimation[J].Journal of Electronics & Information Technology,2016,38(2):381-388

    • [22] Zhang Y F,Ding L,Sharma G.HazeRD:an outdoor scene dataset and benchmark for single image dehazing[C]//2017 IEEE International Conference on Image Processing(ICIP).September 17-20,2017,Beijing,China.IEEE,2017:3205-3209

    • [23] Horé A,Ziou D.Image quality metrics:PSNR vs.SSIM[C]//2010 20th International Conference on Pattern Recognition.August 23-26,2010,Istanbul,Turkey.IEEE,2010:2366-2369

  • Address:No. 219, Ningliu Road, Nanjing, Jiangsu Province

    Postcode:210044

    Phone:025-58731025