摘要
为解决当前单幅图像去雪模型普遍仅关注前景雪花建模与移除,忽视图像背景信息,导致整体还原精度不高的问题,提出一种前景-背景联合学习的单幅图像去雪模型。首先,设计一种基于逐深度卷积的双尺度幻像特征模块,在增强雪花与背景细节表征能力的同时,有效缓解过拟合风险;其次,提出前景-背景联合学习机制,在雪花建模过程中引入背景语义信息,引导模型更全面地理解图像结构与场景上下文;最后,构建双边长短时特征融合单元,促进前景与背景特征间的充分融合与交互,以进一步提升图像复原的质量与稳定性。在Snow100K、CSD两个公开基准数据集上进行有效性验证。实验结果表明,前景-背景联合学习的单幅图像去雪模型在RPSN、SSSIM指标上均优于对比模型,展现出更强的鲁棒性、泛化能力与处理复杂雪景图像的能力。所提模型有效弥补了现有模型在背景建模方面的不足,在实际应用场景中具备较高的实用价值。
Abstract
To address the issue that current single-image desnowing models generally only focus on the modeling and removal of foreground snowflakes while neglecting image background information, resulting in low overall restoration accuracy, a single-image snow removal model based on joint foreground-background learning is proposed. Firstly, a dual-scale phantom feature module based on depth wise convolution is designed to enhance the representation ability of snowflakes and background details while effectively mitigating the risk of overfitting; Secondly, a joint foreground-background learning mechanism is proposed to introduce background semantic information into the snowflake modeling process, guiding the model to comprehensively understand the image structure and scene context; Finally, a bilateral long-short-term feature fusion unit is constructed. To promote full fusion and interaction between foreground and background features,which further improves the quality and stability of image restoration. Effectiveness was evaluated on two public benchmark datasets Snow100K and CSD. The results show that the proposed model outperforms existing mainstream models in terms of RPSN, SSSIM, demonstrating stronger robustness, generalization ability, and ability to process complex snow scene images. This model effectively compensates for the background modeling deficiencies in existing models and has high practical value for real-world scenarios.
中国北方地区的冬季,由于低温影响,雪花因风的作用会附着在一些户外设备的屏幕或相机镜头上[1]。雪花自身具有非透明的属性,当雪花的密度很大时,智能设备采集到的图像可能会出现特定目标被雪花覆盖,发生颜色饱和度降低的情况,进而容易导致智能系统的错误分类或错误识别等[2-3]。因此,单幅图像去雪作为前端图像处理任务,具有十分重要的实际应用价值。
当前,单幅图像去雪任务的主流研究方法分为两类:基于先验知识的传统算法和基于神经网络架构的深度学习方法[4-17]。其中,基于先验知识的传统算法通常需要以构建数学模型的方式模拟雪花的形成过程,或利用人为的先验知识直接对背景图像进行预测。具有代表性的研究有构建均匀高斯混合模型[4]、设计引导核[5]以及频域分解[6]等。然而,随着大数据时代的来临,这类传统方法的性能变差,且计算效率也明显降低。因此,基于神经网络架构的深度学习方法已将其逐渐取代。Liu等[9]设计了残差生成模块,构建了一个适用于图像去雪任务的深度学习模型DesnowNet,其在处理雪天复杂场景时的性能有限,但该模型的提出却直接引发了深度学习技术在图像去雪领域的研究热潮。近几年,涌现出更多结构精巧且性能良好的神经网络,显著提升了图像去雪模型的性能。具有代表性的研究如:Li等[10]提出了一种多尺度堆叠密集连接卷积网络MS-SDN,其包含了两个独立的大尺度DenseNet;Zhang等[11]利用语义和几何先验,提出了一种深度密集多尺度网络DDMSNet;Chen等[12]利用改进的部分卷积和暗通道先验,实现了对雪花和伪影的同步移除;Li等[13]设计了一种新的对抗学习机制,并且在特征空间引入多个尺度,实现了对不同架构去雪网络的神经搜索过程;Chen等[14]引入了对偶树小波变换和新的层次分解范式,更好地提取了不同大小雪花的特征;Jaw等[15]利用交叉分辨率的横向连接,设计了一种生成对抗网络的新结构。除了利用传统的卷积操作以外,基于自注意力设计Transformer则是另一条技术路线。例如,Valanarasu等[16]提出了一种具有编码解码结构的端到端去雪模型;Shan等[17]舍弃了传统的局部窗口策略,利用小波采样将图像分割成多个包含全局信息的低分辨率子图像。尽管上述模型的性能已经得到了较大的改善,但通过深入分析发现,如能将有效的前景和背景信息融入网络学习过程中,将有助于进一步提高模型的精度。
基于以上分析,本文提出一种基于前景-背景联合学习的单幅图像去雪模型。首先,利用通道分离[18]和逐深度卷积[19]设计了一种双尺度幻像特征模块,在提取多尺度特征的同时有效降低过拟合风险;其次,提出一种前景-背景联合学习机制,在建模雪花的基础上引入图像的背景信息;最后,构建一种双边长短时特征融合单元,以强化图像前景与背景间特征的融合,进一步提高模型的性能。
1 单幅图像去雪任务
目前,单幅图像去雪任务已成为近年来图像恢复领域的重要研究方向之一,目的在于将被雪花污染的低饱和度图像恢复为清晰的背景图像,从而提高在下雪天时采集图像的质量,并解决或降低雪天时智能系统错误分类或错误识别的概率。图1为图像去雪任务的示意。
图
1
单幅图像去雪任务
Fig.
1
Single-image desnowing task
受雪花污染的图像的退化模型[10]可以表示为
(1)
式中:I(x)为被雪花覆盖的图像,A(x)为清晰的背景图像,T(x)为雪花的掩码,K(x)为色差图。
由式(1)可以看出,构成一张有雪图像,需要将雪花的掩码及色差图进行复杂的乘性变换。这样的数学退化模型为描述和处理图像中的雪提供了一种有效的方法,从而帮助数学退化模型理解和处理雪对图像质量的影响,进而开发出有效的去雪算法。
当前去雪性能最佳的是结合全局滑动窗口和小波采样过程的SGNet算法[17]。首先,针对有雪图像,SGNet设计了一种具有全局窗口的Visual Transformer。其能够巧妙地利用小波采样将图像中的各种信息分解为多个包含全局信息的低分辨率子图像。然后,通过构建一种全局信息共享单元,实现所有子图像之间信息交互过程,解决了以往使用局部窗口存在的信息隔离问题。模型在去雪过程中,如果仅关注前景或背景,在面对复杂场景时可能会导致泛化能力下降。而前景和背景通常具有不同的特征结构,通过分别提取和利用这两种信息,可以更好地捕捉图像中复杂的纹理和空间关系。基于前景-背景联合学习方法能帮助模型在去除雪花时更加精准地保留前景物体和背景环境的细节。此外,通过分别处理前景和背景的信息,可以实现特征解耦。解耦过程增强了模型的可解释性,有助于更好地分析模型在去雪过程中可能出现的误差来源。因此,设计更加合理的网络模块结构,并引入图像的背景信息来辅助指导模型学习,可以进一步提高模型在单幅图像去雪任务中的效果。
2 前景-背景联合学习的去雪模型
本文设计一种基于前景-背景联合学习的单幅图像去雪模型,整体网络结构如图2所示。模型的核心模块和机制由3部分构成:1)双尺度幻像特征模块;2)前景-背景联合学习机制;3)双边长短时特征融合单元。
2.1 双尺度幻像特征模块
图
2
基于前景-背景联合学习的去雪模型结构
Fig.
2
Structure of desonwing model based on joint foreground-background learning
图
3
双尺度幻像特征模块结构
Fig.
3
Structure of dual-scale phantom feature module
首先,对于高为H,宽为W,通道数为C的1组输入特征图,在通道维度上将其拆分为4组尺寸一致的子特征图。每组子特征图的尺寸为(W,H,C/4)。采用3×3和5×5尺寸大小的双尺度逐深度卷积分别对其中两组的特征进行提取。值得注意的是,双尺度幻像特征模块并没有选用更大的7×7和9×9卷积核。不同于常规的图像恢复任务,图像去雪任务中,有雪图像中雪花所占的像素比例较小,如果采用大尺寸的7×7和9×9卷积核,将不利于提取图像中雪花的边缘结构特征,从而影响模型移除雪花的最终效果。
其次,为了达到与标准的常规卷积核相同的功能,双尺度幻像特征模块中选择逐深度卷积结合逐点卷积,并设计了能够共享参数的5×5卷积核。这种共享参数的学习机制能够使模型实现一种类似线性映射的学习过程,极大提高模型的学习效率,同时保持良好的学习效果。综上,这种对标准常规卷积核的替换有两个优势。第一,通过减少模型的总参数量,能够有效缓解标准卷积核中普遍存在的参数冗余问题;第二,模块既具有提取多尺度特征的能力,同时还提高了模型的学习效率,并有效降低可能出现的过拟合风险。
再次,除了多尺度逐深度卷积以及逐点卷积以外,双尺度幻像特征模块还设计了网状的特征融合操作,通过逐元素相加操作,能够实现丰富的交互过程,这种设计也能在一定程度上缓解共享5×5卷积核导致的特征多样性稍弱的问题。
最后,采用Leaky ReLU实现模型的非线性激活,而模块设计中常见的采样操作以及归一化层等均没有引入。这种简洁的模块结构有助于优化模型的参数量以及计算复杂度。
2.2 前景-背景联合学习机制
为了引入图像的背景信息以提高模型的学习能力,本文设计一种前景-背景联合学习机制,如图2所示。其中,前景学习网络F旨在对雪花或雪线层进行学习;背景学习网络G旨在学习图像中的背景信息。此外,还设计了递归计算策略,不仅有利于模型进行全局信息的传递,还能够与双尺度幻像特征模块中的特征局部传递过程相互补充,在一定程度上提高模型的性能。由于有雪图像的特征能够被更加充分地解析,最终的去雪图像将会包含更清晰的纹理细节,还能在一定程度上缓解去雪任务中普遍存在的过度平滑现象。具体实现见算法1。

2.3 双边长短时特征融合单元
本文设计的双边长短时特征融合单元通过改进常规的卷积方式以及隐藏状态之间的连接结构强化特征融合过程,结构如图4所示。由图4可以看出,对于双边长短时特征融合单元的特征提取部分,并没有采用常规的卷积方式,而是引入了双尺度幻像特征模块。此设计的优势在于既能够保证特征融合单元的功能,还能够降低模型的参数量。另外,双边长短时特征融合单元依然包含了标准的输入门、遗忘门、输出门、单元状态和隐藏状态。对于隐藏状态,双边长短时特征融合单元改进了原有的连接方式。前景学习网络F的隐藏状态h\begin{equation}_{F}^{t}\end{equation}增加为背景学习网络G的部分输入。而背景学习网络G在t-1时刻的隐藏状态h\begin{equation}_{G}^{t-1}\end{equation}则反过来作用于前景学习网络F。因此,双边长短时特征融合单元中的两种隐藏状态h\begin{equation}_{F}^{t}\end{equation}和h\begin{equation}_{G}^{t}\end{equation}能够同时在彼此独立的网络学习过程中传递特征,还会对前景学习网络F和背景学习网络G建立特征融合过程,进一步提高去雪模型的性能。前景学习网络F中的输入门i\begin{equation}_{F}^{t}\end{equation}、遗忘门f\begin{equation}_{F}^{t}\end{equation}、输出门o\begin{equation}_{F}^{t}\end{equation}、候选状态g\begin{equation}_{F}^{t}\end{equation}、记忆单元状态c\begin{equation}_{F}^{t}\end{equation}以及隐藏状态h\begin{equation}_{F}^{t}\end{equation}可由式(2)~(7)表示。背景学习网络G中的输入门i\begin{equation}_{G}^{t}\end{equation}、遗忘门f\begin{equation}_{G}^{t}\end{equation}、输出门o\begin{equation}_{G}^{t}\end{equation}、候选状态g\begin{equation}_{G}^{t}\end{equation}、记忆单元状态c\begin{equation}_{G}^{t}\end{equation}以及隐藏状态h\begin{equation}_{G}^{t}\end{equation}可由式(8)~(13)表示。
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
(11)
(12)
(13)
式中:z\begin{equation}_{F}^{t}\end{equation}为输入层的特征;δ为Sigmoid函数;为二维的逐深度卷积;⊙为逐元素乘法;b*#为偏置,*表示对应的前景或背景网络,#表示对应的门;Wjkl为卷积层的权重,j表示对应的前景或背景网络,k表示对应的门,l表示对应的隐藏状态。
图
4
双边长短时特征融合单元结构
Fig.
4
Structure of bilateral long-short-term feature fusion unit
双边长短时特征融合单元将前景和背景特征有效融合,强化图像的视觉一致性,减少雪花残留和细节丢失。在三者的相互作用下,模型能够在保证高质量复原效果的同时有效控制参数量和计算成本,更有利于在多样化的实际应用场景中部署落地。
3 实验结果及分析
为验证本文提出的基于前景-背景联合学习的单幅图像去雪模型的有效性,分别进行以下3方面实验:1)验证双尺度幻像特征模块在不同结构下的有效性;2)验证前景-背景联合学习机制的有效性;3)验证构建的双边长短时特征融合单元的有效性。
将本文所提模型与目前具有代表性的8种模型分别进行定量和定性对比与分析。8种模型分别为:
1)DesnowNet[9]:基于神经网络模型的图像去雪网络,其网络结构包含了多个残差生成模块。
2)DDMSNet[11]:是一种利用语义和深度先验进行去雪的深度密集多尺度网络。
3)JSTASR[12]:利用部分卷积和暗通道先验联合移除雪花和伪影。
4)All in One[13]:设计了一种新的对抗学习机制,在特征空间引入多个尺度,实现了对不同架构去雪网络的神经搜索过程。
5)HDCWNet[14]:引入了对偶树小波变换和新的层次分解范式,更好地提取不同大小雪花的特征。
6)DSGAN[15]:利用交叉分辨率的横向连接,设计了一种基于生成对抗网络的去雪模型。
7)Transweather[16]:具有编码解码结构的端到端Transformer模型。
8)SGNet[17]:具有全局窗口的Transformer去雪模型。
3.1 数据集
有效性验证实验采用单幅图像去雪数据集Snow100K[9]和CSD[14]。Snow100K是目前公开的规模最大的去雪数据集,50 000组图像作为训练集,50 000组图像作为测试集。同时,该数据集中分别有低密度、中密度及高密度3种不同情况的雪花图像和背景图像。CSD数据集额外融合了雪花及雪线的透明度、大小和位置信息,共有8 000组图像对作为模型的训练集,2 000组图像对作为模型的测试集。该数据集更好地模拟了真实的雪天情况,具有更加丰富的背景图像,更贴近真实的下雪场景。除此之外,消融实验选择在CSD数据集上以随机的形式筛选1 000组图像对(命名为PartCSD)进行。其中,800组图像对作为模型的训练集,剩余的200组图像对作为模型的测试集。
3.2 评价指标
为更全面准确地评价模型的去雪效果,采用峰值信噪比(peak signal-to-noise ratio,RPSN)和结构相似度(structural similarity index measure,SSSIM)作为评价指标。
RPSN是通过计算恢复图像与原始图像的像素均方误差,结合图像像素的最大峰值得到的比值,用于量化恢复图像和原始图像之间每个像素点的差异,以分贝(dB)为单位。RPSN值越高,说明恢复图像与原始图像的误差越小,即恢复图像质量越高。对于去雪任务,RPSN能直观反映图像的整体还原度。其作为一种传统的图像质量评价指标,易于量化和比较,并能反映图像还原的准确性。
SSSIM通过模拟人类视觉系统的感知评价图像的质量[21],其更关注图像的结构相似性,能够在一定程度上弥补RPSN在视觉感知方面的不足。SSSIM分别从图像的平均亮度、对比度及结构3个维度综合评估恢复图像与原始图像在视觉特征上的相似性。其计算式为
(14)
式中:SSSIM为结构相似度;μx和μy分别为两幅待比较图像像素的平均值;σx和σy分别为图像像素的标准差;σxy为两幅图像像素之间的协方差;c1和c2为常数,避免分母为0。
SSSIM的取值范围为[0,1]。其值越接近1,说明图像在视觉上与原始图像越相似。相比于单纯的像素差异度量,SSSIM更符合人类视觉系统的特性,能更全面地反映图像的结构信息。
RPSN与SSSIM的组合既关注像素层面的差异,又关注视觉结构上的相似性,即综合像素误差和视觉结构两个评估维度,可以较为全面地衡量模型在去雪任务中的表现。
3.3 实验设置
本文所有实验均采用PyTorch 1.7框架,利用英伟达4090图形处理器实现计算加速。利用Adam优化器作为梯度优化算法。网络训练时,将输入图像随机裁剪成尺寸为100×100像素的图像块。batch size设置为8,共60个epoch。初始学习率为0.001,并在第15、30和45个epoch时依次衰减为原来的1/5。
3.4 模型的有效性验证
3.4.1 双尺度幻像特征模块
对于本文提出的双尺度幻像特征模块而言,其卷积核的尺寸设置、网状特征融合方式以及幻像特征生成的有效性是研究的重点。首先,为验证所采用的逐深度卷积的有效性,验证单一尺度下不同尺寸的逐深度卷积核(1×1、3×3、5×5、7×7以及9×9)对双尺度幻像特征模块性能的影响。其次,移除了网状特征融合方式,观察模型整体性能的变化。最后,用标准的卷积核设计以及双尺度幻像特征模块进行对比实验,以验证所提出的双尺度幻像特征模块的有效性。实验结果见表1。
表
1
不同结构双尺度幻像特征模块的实验结果
Tab.
1
Experimental results of dual-scale phantom feature modules with different structures
由表1可以看出,采用单尺度逐深度卷积1×1模型的性能较差,原因是1×1卷积核通常只能提取逐像素之间的特征,无法建立相邻像素之间的关系,而有雪图像中重要目标所占的像素比例较大,单独的1×1卷积核无法提取到更多有效的特征。随着逐深度卷积核尺寸的增加,模型的性能也逐渐提高。当引入单尺度逐深度卷积3×3卷积核时,RPSN达到了27.05 dB,SSSIM提升至0.958 4,说明3×3卷积核的引入是有效的,其能够更好地提取图像的重要特征,更有利于图像的恢复。当卷积核的尺寸增加至7×7,乃至9×9时,模型性能有所下降,说明过大尺寸的卷积核不利于模型对雪花有效特征的提取,其会忽略雪花中存在的重要边缘特征及结构特征。随后,当移除网状特征融合操作时,与最终的模型对比,RPSN降低了0.67 dB,说明网状特征融合操作在双尺度幻像特征模块中的有效性,其能够很好地整合逐深度卷积3×3和逐深度卷积5×5所学习到的不同尺度特征。最后,通过与标准的3×3卷积和5×5卷积对比发现,双尺度幻像特征模块在RPSN指标上提高了1.17 dB,SSSIM指标提高了0.008 1,说明虽然标准的卷积形式具有的参数最多,但是却无法达到最优的结果,参数存在一定的冗余情况,而双尺度幻像特征模块中共享参数的学习机制能够使模型实现一种类似线性映射的学习过程,不仅能够提高模型的学习效率,还能够减轻参数的冗余情况,一定程度上缓解了过拟合的现象,最终实现了良好的性能。
3.4.2 前景-背景联合学习机制
对提出的前景-背景联合学习机制的有效性验证共进行6组对比实验。首先,为了探索前景-背景联合学习机制中递归计算次数对模型的影响,分别设计了不同的超参数,验证模型在不同递归次数下的性能差异。随后,移除背景学习操作,只有前景学习操作,以验证前景-背景联合学习机制整体的有效性。实验结果见表2。
表
2
不同超参数下前景-背景联合学习机制的实验结果
Tab.
2
Experimental results of joint foreground-background learning mechanism under different hyper-parameters
由表2可以看出,当仅使用1次递归计算操作时,模型的性能欠佳,RPSN只有22.96 dB,SSSIM仅为0.915 9。随着递归计算次数的增加,模型的性能逐步提高。当递归计算次数为4时,RPSN达到了29.12 dB,SSSIM提升了 0.054 7。本质上讲,递归计算过程可以看作一种特殊的逐级特征迭代器,由于其实现了有效特征的迭代过程,所以模型能够以更加全面和细致的方式学习有雪图像的特征,最终实现了模型性能的提升。然而,并非持续增加递归次数就能获得持续的性能增益。当递归计算的次数由4次增加为5次时,RPSN只有0.02 dB的提高,而SSSIM则降低了0.004 8。此结果可以理解为类似于网络训练的收敛过程,在4次递归计算条件下,模型学习最优解。而随着递归计算次数的增加,模型在RPSN上所能获得的性能增益已经十分微弱,且SSSIM还会出现下降的情况。因此,模型将4次递归计算作为默认的超参数,从而避免增加额外的计算量。另一方面,通过移除背景学习操作可以发现,RPSN降低了0.19 dB,SSSIM也降低了0.004 6,说明本文提出的前景-背景联合学习机制在整体上具有有效性,在前景学习的基础上,恰当的引入背景学习操作,有助于模型性能的进一步提高。
3.4.3 双边长短时特征融合单元
共进行5组对比实验,以验证所提出的双边长短时特征融合单元的有效性。首先,移除双边长短时特征融合单元,以验证其模块整体的有效性。其次,以标准卷积构建双边长短时特征融合单元,以验证改进的卷积模块的有效性。最后,对双边长短时特征融合单元的内部结构进行消融实验,分别以常见的mobile模块及shuffle模块来构建。实验结果见表3。
表
3
双边长短时特征融合单元的有效性验证
Tab.
3
Effectiveness validation of bilateral long-short-term feature fusion unit
由表3可以看出,对于本文提出的基于前景-背景联合学习的单幅图像去雪模型而言,双边长短时特征融合单元的引入有利于提高模型的性能。其中,与无特征融合单元相比,引入双边长短时特征融合单元后,RPSN提高了2.84 dB,SSSIM提高了0.020 5,说明当没有特征融合单元时,模型对图像的前景和背景所提取的特征相对独立,无法建立起有效的特征融合过程,因此网络的性能较差。而双边长短时特征融合单元能够很好地整合前景-背景联合学习机制所生成的递归阶段的特征,强化了特征间的融合过程及相互作用,从而使模型能够更好地对各种复杂条件下的有雪图像进行分析和学习。此外,通过对标准卷积的对比可以发现,虽然标准卷积所使用的参数量更大,但是却并非取得最优的效果。说明对常规的卷积块进行改进是有效的。最后,通过对比mobile模块及shuffle模块的性能可以发现,以双尺度幻像特征模块构建特征融合单元的性能最佳。说明对于高度凝练的递归间的特征,保持网络结构的一致性更有助于模型理解特征之间的联系与相互作用,从而在进行图像恢复时能做出更正确的推理过程。
3.5 模型的先进性验证
表
4
不同模型的性能对比
Tab.
4
Performance comparison of different desnowing models
由表4可以看出,对于Snow100K数据集,本文模型的RPSN达到了31.97 dB,与DesnowNet模型相比,SSSIM提高了0.02;对于CSD数据集,本文模型的RPSN达到了29.45 dB,与Transweather模型相比,SSSIM提高了0.04。本文模型在CSD数据集上取得了最好的定量结果,体现了其在真实应用场景下的优势。
图5~图7从3个方面定性展示了不同去雪模型在公开数据集上的复原图像效果。其中,图5为不同模型在稀疏雪花下的定性对比,图6为不同模型在浓密雪花下的定性对比,图7为不同模型在背景颜色与雪花相似时的定性对比。
由图5可以看出,本文提出的模型可有效地识别并去除雪花噪声,同时完整保留图像的纹理细节,不会因过度复原而导致图像模糊或细节信息丢失。
由图6可以看出,面对雪花浓密的图像时,尽管雪花在图像中占据了较大比例,本文模型依然能够精准地区分雪花与背景,使得复原图像更接近真实场景,并最大限度地减少雪花噪声的残留。
图像的背景颜色与雪花相似是去雪任务中最复杂的实际应用场景,因为模型需要在高度相似的像素特征中精确分辨出雪花与背景。由图7可以看出,当面对图像的背景颜色与雪花相似时,本文提出的模型依然展现出了优异的性能,成功地恢复了清晰的背景,同时避免了当前其他方法可能出现的纹理细节丢失或不自然现象。本文模型在视觉效果上优于其他模型,恢复后的图像与真实背景最为接近。
图
5
不同模型在稀疏雪花下的定性对比
Fig.
5
Qualitative comparison of different models under sparse snowflakes
图
6
不同模型在浓密雪花下的定性对比
Fig.
6
Qualitative comparison of different models under dense snowflakes
图
7
不同模型在背景颜色与雪花相似时的定性对比
Fig.
7
Qualitative comparison of different models when the background color is similar to snowflakes
综上,本文提出的基于前景-背景联合学习的单幅图像去雪模型有效地解决了现有模型在精度上的不足,呈现出了更高的图像复原质量。
4 结论
1)提出一种双尺度幻像特征模块,该模块能够捕捉不同尺度的图像信息,使模型在识别雪花特征的同时避免过度处理。
2)提出一种前景-背景联合学习机制。通过引入背景信息,确保在去除雪花后模型仍然保留原有图像的自然感。
3)提出一种双边长短时特征融合单元。通过增强前景与背景特征的交互,使得恢复后的图像既去除了雪花噪声,又保留了真实的雪天视觉效果。
4)本文提出的基于前景-背景联合学习的单幅图像去雪模型在雪花稀疏、雪花浓密以及背景与雪花颜色相似的复杂场景中,均能保持稳定的性能,去雪效果显著提高。该模型不仅在定量评价指标上均取得了最优结果,而且定性恢复结果也最接近真实图像。

