摘要
为解决目前大多数深度学习去雾算法去雾过程中细节丢失、可解释性差的问题，提出了一种可解释的双分支深度学习去雾算法。该算法设计双分支协同架构解耦去雾任务，上分支雾霾提取子任务通过设计的雾霾提取块（haze removal block，HRB）在频域中提取雾霾特征，并引入通道注意力机制增强浓雾区域的特征捕获；下分支细节修复子任务采用聚合式残差框架修正提取特征时损失的纹理细节；通过计算模糊图像与雾霾特征图像的负残差得到初步去雾图像，并利用下分支修正细节获得最终的去雾图像。在SOTS、NH-HAZE和真实场景数据集上进行相关实验，结果表明，相较于现有的主流去雾算法，本文算法恢复的图像不仅雾霾去除更加彻底、细节保留更加完整，而且客观评价指标也有显著提升。研究成果不仅为深度学习在图像去雾领域开辟了新的研究方向，还为实际应用中的图像清晰化处理提供了切实可行的解决方案。
Abstract
In order to address the issues of detail loss and poor interpretability in current deep learning-based dehazing algorithms, this paper proposes an interpretable dual-branch deep learning dehazing algorithm. The algorithm employs a dual-branch collaborative architecture to decouple the dehazing task: the upper branch focuses on haze extraction through a designed haze removal block (HRB) that captures haze features in the frequency domain, while incorporating a channel attention mechanism to enhance feature extraction in dense haze regions. The lower branch adopts an aggregated residual framework for detail restoration to correct texture details lost during feature extraction. By computing the negative residual between the hazy image and the haze feature image, a preliminary dehazed image is obtained, which is then refined by the lower branch to produce the final dehazed result. Experiments on the SOTS, NH-HAZE, and real-world datasets demonstrate that compared to existing mainstream dehazing algorithms, the proposed method achieves more thorough haze removal, more complete detail preservation, and significant improvements in objective evaluation metrics. This work not only establishes new research directions for deep learning in image dehazing field but also provides a practical solution for real-world image clarity enhancement.
雾天条件下，由于大气中悬浮着大量颗粒和小水滴等介质，拍摄的照片往往会遭受颜色失真、对比度降低以及其他可见的质量下降问题。这对于后续的高级任务，如目标检测[1]、场景理解[2]、自动驾驶[3]等是巨大的挑战。因此，在过去的几年里，图像去雾技术在视觉界受到了极大的关注。
图像去雾的最终目标是从模糊图像和雾层中恢复出清晰图像。给定一个模糊图像，大多数去雾算法试图估计大气光值和透射率。然而，从有雾图像中估计透射率通常是一个不确定的问题。早期基于先验知识的算法旨在通过分析清晰图像的统计属性来估算透射率，进而根据大气散射模型[4-6]逆推出复原后的清晰图像。例如暗通道先验[7]、颜色衰减先验[8]等，这类算法虽然考虑了图像降质的物理原因，但高度依赖大气散射模型对参数估计的准确性，所以当假设的先验不足以描述真实世界的图像时，可能产生伪影、颜色失真等问题，导致去雾效果不理想。
近年来，深度学习技术的进步为图像去雾领域带来了新的研究视角，不少学者开始探索并应用这一技术改善去雾效果。Ren等[9]提出了多尺度深度神经网络来学习非线性映射；Li等[10]重新表述了大气散射模型，并提出了一个轻量级的模型，该模型可以从模糊的图像中产生清晰的图像；Yang等[11]提出了小波U-net[12]，其利用离散小波变换（discrete wavelet transformation，DWT）和逆离散小波变换（inverse wavelet transformation，IWT）代替下采样和上采样提取边缘特征，以此估计模糊的图像；Wu等[13]设计了一种采用对比正则化技术的去雾网络，该网络通过对比分析模糊图像与清晰图像的特征信息，巧妙地利用正样本（清晰图像）与负样本（模糊图像）之间的差异与共性，实现了高效生成清晰无雾图像的目的。上述算法虽然在去雾方面取得了不错的效果，但仍存在以下问题：1）在去雾任务中，雾霾浓度的复杂性导致恢复清晰图像过程中细节丢失；2）在去雾任务中，仅通过一条黑盒路径将雾霾图像转换为清晰图像，缺乏对去雾任务的可解释性。
针对以上问题，本文提出了一种可解释的双分支去雾算法。针对不同浓度的雾霾图像，本文设计了雾霾提取块（haze removal block，HRB），通过长距离补偿和特征重标定机制在频域中更好地捕获雾霾特征；针对雾霾提取过程中细节信息丢失的问题，设计了一种聚合式残差框架，以使得丢失的细节信息返回至清晰图像中。
1 本文算法
为了进一步增强去雾任务的可解释性，本文将去雾任务分解为两个子任务：雾霾提取和细节修复。对应的去雾网络总体模型分为两个分支，结构如图1所示。其中，上分支进行雾霾提取任务，下分支进行细节修复任务。上分支中设计了HRB，使其在频域特征空间中尽可能地筛选雾霾特征；下分支是以基本块（basic block，B-B）为主体的聚合式残差框架，用于修正损失的纹理细节，避免因提取雾霾特征而导致部分细节纹理的丢失。
图1网络总体结构
Fig.1Overall structure of the network
1.1 雾霾特征提取分支
在雾霾特征提取分支中，通过DWT将特征域迁移至频域中以捕获雾霾相关特征信息。输入图像经过小波变换后通过卷积核为3的普通卷积将频域特征映射至更高维空间，以便后续HRB捕获相关雾霾特征。最后，该分支利用卷积核为7的大核卷积对高维空间特征进行压缩，并将特征域转换至空域中。利用PReLU、tanh激活函数防止网络不收敛。
图2为卷积的不同组合形式。其中，HRB的细节如图2（d）所示。该模块利用通道注意力[14]（squeeze-and-excitation，SE）（图3） 进行动态识别。编解码器在提取特征的同时会丢失一部分信息，考虑到残差连接可以弥补长距离信息的缺失，促进残差学习的实现。因此，在该模块中引入残差连接。雾霾残差块的表达式为
(1)
式中：rHB为雾霾残差块的输出，fSE（·）和rSE（·）分别为SE操作和图2中虚线框所示的残差块，x0为输入信号。
图2卷积的不同组合形式
Fig.2Different convolution combinations
空间背景信息在单幅图像提取中的可行性已得到验证[15-16]，然而，同一卷积层内的不同特征通道相互独立，且在获取初始特征图的卷积操作中各通道之间的关联性几乎未被建立。将SE操作融入残差块的设计，相较于传统残差块，其核心区别在于引入了特征重标定机制。SE模块通过显式地建模特征通道间的相互依赖性，实现对特征通道的自适应重新校准。具体而言，SE操作能够识别出哪些特征通道对去雾任务更为关键，从而通过分配更高的权重来增强这些富含上下文信息的通道。而相应地，对于空间相关性较低、贡献度较小的特征通道，则分配较低的权重，实现特征的有效筛选与强化。
SE结构如图3所示。输入特征图X经过卷积层Ftr得到C个输出的特征图，组成特征图U。使用全局平均池化操作Fsq将一个特征图转化为1×1×C；利用门控机制和激活函数操作Fex对每个通道生成不同权重；最后，通过缩放操作Fscale将前面得到的注意力权重加权至每个通道的特征上，得到加权特征图Xca。
图3SE结构
Fig.3Squeeze-and-excitation structure
1.2 细节修复分支
细节修复分支通过块内聚合和块间残差的方式恢复丢失的细节。由于感受野对捕获丰富的上下文信息至关重要，本文通过块内聚合不同感受野信息素提升单元块的细节信息捕获能力，通过块间残差补偿在传输过程中丢失的信息素。此外，在聚合不同感受野的过程中引入空洞卷积，以相对较小的代价进一步扩大感受野。
B-B结构由两部分组成：第1部分通过膨胀率d分别为1、3、5的空洞卷积群[17]（atrous convolution block，ACB）和卷积核分别为1、3、5的普通卷积群（vanilla convolution block，VCB）获取不同的感受野；第2部分采用卷积核为1的卷积聚合不同感受野下的信息素，利用LeakyReLU激活函数缓解梯度消失，如图4所示。两种卷积集群均采用图5所示的混合注意力模块[18]（convolutional block attention module，CBAM）提升不同感受野下信息素的表达力。
图4基本块结构
Fig.4Basic block structure
图5混合注意力模块
Fig.5Convolutional block attention module
1.3 损失函数
1.3.1 L1损失
L1损失也称平均绝对误差（MAE），用于测量去雾结果与对应清晰图像之间的距离。
(2)
式中：‖·‖1为L1范数，I为有雾图像，为去雾后图像，J为对应的清晰图像，IH为提取的雾图。
1.3.2 对比损失
对比损失可以将待去雾图像样本拉向清晰图像样本（正空间），远离雾霾图像样本（负空间）[19]。通过VGG19[20]网络提取待去雾图像样本、正空间样本和负空间样本的特征，并利用欧几里得距离衡量样本空间距离。对比损失函数的表达式为
(3)
式中：ωi为权重系数，D（·）为欧几里得距离，Gi（·）为VGG19提取的隐藏特征，φ（·）为去雾网络。
1.3.3 多尺度结构相似性损失
多尺度结构相似性损失考虑了图像在多个空间尺度上的像素相似性，用于评价图像质量。结构相似性函数的表达式[21]为
(4)
式中：μO为输出图像均值，μJ为无雾图像均值，σO为输出图像方差，σJ为无雾图像方差，σOJ为输出图像和无雾图像协方差，c1、c2为防止分母为0的常数。
多尺度结构相似性损失是由M级结构相似性函数所得，表达式为
(5)
1.3.4 总损失函数
网络将L1损失、多尺度结构相似性损失和对比损失组合作为总损失函数，表达式为
(6)
2 实验结果及分析
2.1 数据集及参数设置
采用RESIDE[22]和I-HAZE[23]数据集训练网络。RESIDE训练数据集包括1 399张室内真实场景的配对合成图像（ITS）和室外真实场景中选取的1 000张配对合成图像（OTS）。RESIDE测试集包含SOTS-Indoor和SOTS-Outdoor配对图像各500张。I-HAZE数据集包含50张配对的真实雾图，其中40张作为训练集，10张作为测试集。小规模非均匀雾霾数据集利用NH-HAZE[24]训练，该数据集共包含55张图像，其中80%作为训练集，20%作为测试集。
算法在PyTorch框架下实现，采用Intel i5-12600KF CPU和NVIDIA RTX 4060Ti16 G GPU进行训练，利用Adam优化器进行优化。初始学习率设置为10-4，通过监测验证损失动态调整学习率，共计训练500轮。
2.2 去雾质量定性分析
为了验证本文算法的有效性，采用单一变量原则，在主观效果上将本文算法与经典去雾算法AODNet[10]、FFANet[25]、SGID[26]、DWT-FFC[27]和UCL[28]进行对比，5种对比算法统一采用RESIDE和NH-HAZE各训练500轮。
不同算法在SOTS-Indoor和SOTS-Outdoor测试集上的对比结果如图6、7所示。
图6不同算法在SOTS-Indoor测试集上的实验结果
Fig.6Restoration results of different algorithms on the SOTS-Indoor test set
图7不同算法在SOTS-Outdoor测试集上的实验结果
Fig.7Restoration results of different algorithms on the SOTS-Outdoor test set
由图6、7可以看出：在室内场景中，AODNet出现了残雾；在室外场景中，AODNet和UCL出现了颜色失真现象；其他算法以及本文算法在颜色和细节上均能恢复出很好的图像。
图8为不同算法在NH-HAZE测试集上的复原结果对比。由图8可以看出：AODNet和FFANet经过大量数据训练网络后，展现出良好的去雾性能；然而，当在小规模且分布不均匀的雾霾数据集上训练时，复原结果出现了不同程度的细节丢失、颜色失真以及去雾不彻底的问题。相比之下，SGID和DWT-FFC算法在去除雾气并恢复轮廓细节方面表现较好，与所提算法较为接近。与其他网络训练方式不同，UCL采用无监督的方式训练网络，虽然能够很好地处理薄雾区域的图像，但在处理雾气较厚区域时的表现则不尽如人意。
各算法在真实图像中的恢复结果如图9所示。
图8不同算法在NH-HAZE测试集上的实验结果
Fig.8Restoration results of different algorithms on the NH-HAZE test set
图9不同算法在真实测试集上的实验结果
Fig.9Restoration results of different algorithms on the real test set
由图9可以看出：AODNet复原的图像出现颜色失真，由于其依赖大气散射模型估计的大气光值偏大导致；FFANet在薄雾去雾任务中表现出色，原因是其通过分析雾霾浓度差异提出特征注意力模块和残差学习策略；SGID复原的图像出现去雾不彻底且颜色失真，由于参考图像引入清晰结果的同时也引入了雾气信息导致；UCL存在去雾不彻底的现象，原因是其采用无监督的训练方式，存在预测结果不太准确的问题；DWT-FFC与本文算法能较好地恢复纹理细节，并且能够获得更加真实的色彩，得到了视觉效果更好的去雾结果。
2.3 去雾质量定量分析
为了更全面地评估所提出算法在图像去雾任务中的效果，引入了峰值信噪比（peak signal-to-noise ratio，PSNR）和结构相似性指数（structural similarity，SSIM）两种客观指标共同进行定量分析。
合成数据集上PSNR和SSIM结果见1。由表1可以看出，本文算法的PSNR和SSIM在SOTS-Indoor中效果出色，但是在SOTS-Outdoor和NH-HAZE中效果并非最优。原因是在SOTS-Outdoor数据集中，存在大量白色天空数据，导致雾霾提取器未能很好地区分雾霾和天空区域；在NH-HAZE中，由于雾霾浓度复杂，部分浓雾区域的背景图像特征很难捕获。为此，相比于引入额外先验的DWT-FFC算法，本文算法在浓雾细节恢复方面略差一些。
表1在合成数据集上PSNR和SSIM结果
Tab.1PSNR and SSIM results on synthetic datasets
2.4 消融实验
为验证所提算法中各模块的有效性，采用消融实验对不同模块的组合进行验证。具体包括5种不同的组合。1）BL：表示没有SE的残差网络，只利用网络中的上分支进行去雾；2）BL+SE：将SE加入基线网络中，利用上分支进行去雾；3）BL+SE+BB-ACB：下分支中引入ACB扩大感受野，利用双分支进行去雾；4）BL+SE+BB-VCB：下分支中引入VCB，利用双分支进行去雾；5）BL+SE+BB：联合VCB和ACB，利用双分支进行去雾，即本文所提算法。消融实验结果见表2。
表2消融实验客观对比
Tab.2Objective comparison of ablation experiments
从表2的数据可以看出：整合各个模块，显著地改善了去雾图像的质量。在本文算法中，PSNR和SSIM均取得最优。实验结果的提升得益于本文提出的HRB和B-B模块。
为了更清晰地展示所提模块的优势，对5种组合的去雾结果进行了主观对比，结果如图10所示。由图10可以看出：BL局部细节存在失真和残雾，原因是其只采用残差结构的上分支进行去雾，对雾霾浓度的提取能力较弱；BL+SE出现局部颜色失真和细节丢失问题，原因是在BL基础上加入SE注意力关注通道上的雾霾信息，虽然能较好地去除雾霾，但还是不够彻底；BL+SE+BB-ACB和BL+SE+BB-VCB在去雾能力、发现细节以及改善颜色失真方面不相上下，原因是前者采用空洞卷积块增大感受野，后者利用普通卷积代替空洞卷积，两者均增强了网络学习细节的能力，利用双分支网络进行去雾，基本解决了局部颜色失真和细节丢失问题； BL+SE+BB在局部细节和颜色上更加接近于真实图像，主要是由于其采用并行的ACB和VCB进行双分支去雾。
图10消融实验主观对比
Fig.10Subjective comparison of ablation experiments
3 结论
本文提出了一种可解释的双分支深度学习去雾算法，在SOTS、NH-HAZE和真实场景数据集上进行实验，得到如下结论：
1）提出了雾霾提取块，使得算法能够从全局角度感知雾霾的分布。通过长距离信息补偿和特征重标定机制在频域中更好地捕获雾霾特征，这一机制增强了算法对不同浓度雾霾的感知能力，提升了算法的雾霾提取能力。
2）提出了聚合式残差框架，使得算法能够通过聚合式和残差式两种方式修正丢失的细节，进一步提升了图像的整体质量和细节信息。
3）本文算法在主观视觉效果上能够产生颜色自然、细节丰富的去雾图像，同时，在客观评价指标上也取得了优于现有主流算法的性能，验证了算法的有效性。与传统的去雾算法相比，双任务协同的结构设计增强了去雾任务的可解释性。
