摘要
为改善红外和可见光图像融合过程中信息丢失及特征融合局限性等问题,提出一种跨尺度交叉注意力的Transformer网络。首先,设计跨尺度视觉注意力模块以加强弱光照条件下特征提取能力,重点关注低对比度区域的信息;其次,构造交叉约束模块,通过嵌套连接进行全局特征的交互与融合;最后,提出一种基于Transformer的融合策略,进一步提升图像融合性能,增强细节信息保留。与其他9种先进融合网络的对比实验表明:在客观评价方面,跨尺度交叉注意力的Transformer网络在TNO数据集上的8项评价指标分别提升了10.5%~27.8%,在Road scene数据集上的8项评价指标分别提升了8.6%~30.3%;在主观评价方面,跨尺度交叉注意力的Transformer网络展现出更优的视觉表现,显著提升了融合图像的可解释性与实用性,能有效保留红外图像中的热目标信息与可见光图像中的细节纹理。所提网络能够充分提取源图像信息,生成纹理细节更清晰、对比度更佳的融合结果,为提升图像融合性能及支持下游任务提供有益参考。
关键词
Abstract
To address issues such as information loss and limitations in feature fusion during infrared and visible image fusion, a cross-scale cross-attention Transformer network is proposed. First, a cross-scale visual attention module is designed to enhance feature extraction capabilities under low-light conditions, focusing on information in low-contrast regions. Second, a cross-domain constrain module is constructed to facilitate interaction and fusion of global features through nested connections. Finally, a Transformer-based fusion strategy is proposed to further enhance image fusion performance and improve detail retention. Comparative experiments with nine other advanced fusion networks showed that in terms of objective evaluation, the cross-scale cross-attention Transformer network improved 8 evaluation indicators by 10.5% to 27.8% on the TNO dataset and by 8.6% to 30.3% on the Road scene dataset; In terms of subjective evaluation, the cross-scale cross-attention Transformer network exhibits better visual performance, significantly improving the interpretability and practicality of fused images, and effectively preserving thermal target information in infrared images and detailed textures in visible images. The proposed network can fully extract source image information, generate fusion results with clearer texture details and better contrast, providing useful references for improving image fusion performance and supporting downstream tasks.
图像融合的目的是将同一场景中不同模式、不同位置、不同时间的多幅图像进行融合,生成信息丰富的融合图像[1]。由于图像融合技术能够有效整合来自不同成像传感器的数据,利用不同数据之间的互补优势,生成信息完整的场景图像,因此,图像融合被广泛应用于军事、遥感、医疗诊断、安防、监控、摄影等[2-4]领域。
红外和可见光图像具有很强的信息互补性,红外和可见光图像融合因此成为一个重要的研究课题[5]。红外图像含有明显的目标信息,但缺乏纹理特征且分辨率较低。而可见光图像具有高空间分辨率和丰富的纹理细节特征。通过将红外和可见光图像进行融合,可以同时利用目标的辐射信息和纹理信息,生成目标突出、细节丰富的融合图像。
红外和可见光图像融合方法主要包括传统方法[6]和基于深度学习的方法[7]。传统图像融合大多采用基于多尺度变换方法[8]、基于稀疏表示方法[9]、基于显著性方法[10]和基于子空间方法[11]等对不同模态图像进行整合。由于传统图像融合方法依赖人工设计,对源图像特征提取不充分,且在分离不同传感器的图像时使用相同变换方式,得到的特征性能具有局限性。而基于深度学习方法由于其强大的自动学习能力,可以获得信息丰富的多层次深度特征,在图像融合任务中显示出了巨大的潜力。Prabhakar等[12]提出了用于融合极端曝光差异图像对的一种基于深度学习的无监督网络,该网络利用深度卷积网络学习源图像亮度通道的多级特征,并通过通道间的平均操作实现特征融合,从而生成信息丰富的融合图像。Li等[13]提出了一种密集嵌套连接的红外与可见光图像融合网络,该网络结合了残差和密集连接,通过编码器提取多尺度特征。Ma等[14]提出了一种基于Swin Transformer的跨域远程学习通用图像融合方法(SwinFusion),该方法有效融合了来自不同领域和具有不同依赖关系的信息。李永萍等[15]提出了一种基于变换域VGGNet19的图像融合网络,该网络结合了变换域和深度学习网络的优势,有效防止了融合结果丢失细节边缘信息。刘光辉等[16]提出了一种并行混合注意力的渐进融合图像增强方法,该方法通过聚合不同感受野下学习到的多尺度特征,加强了原始图像细节信息的保留。Tang等[17]提出了一种具备语义信息的多功能图像配准与融合网络(SuperFusion),该网络通过整合语义信息,为图像的对齐与融合提供了全面的解决方案。Li等[18]提出了一种基于交叉注意机制的融合新方法(CrossFuse),该方法能够从源图像中提取深层特征,保持细节信息并增强互补信息。尽管基于深度学习的图像融合技术已取得了很多成果,但其在泛化能力、融合结果的视觉质量与信息保留方面仍面临诸多问题与挑战。现有的融合网络未考虑红外和可见光图像之间结构的特有性和相似性,导致特征提取不充分,造成融合图像的视觉效果欠佳。
针对以上问题,本文提出一种跨尺度交叉注意力的Transformer红外和可见光图像融合网络。利用Transformer的优势,增强融合图像的空间恢复能力。通过跨尺度视觉注意力模块增强弱光照条件下的特征提取,并通过交叉注意力模块实现全局特征的交互与融合,从而提高融合图像的空间恢复能力。
1 融合网络
本文提出跨尺度交叉注意力的红外和可见光图像融合网络,该网络基于Transformer架构设计,由编码器网络、基于Transformer的融合网络和解码器网络3部分构成,具体结构如图1所示。
图
1
跨尺度交叉注意力的红外和可见光图像融合网络结构
Fig.
1
Structure of infrared and visible image fusion with cross-scale and cross-attention
编码器网络由4个卷积块构成,每个块包括3×3卷积、ReLU激活函数和最大池化(max-pooling)操作,从红外和可见光图像中提取多尺度的深度特征。通过多层次的特征提取机制,编码器能够捕捉图像的局部和全局信息,确保丰富的特征表达。之后,提取到的多尺度特征进入基于Transformer的融合网络进行深度融合。该融合网络的核心是多头自注意力机制,在多个尺度上处理图像特征,捕捉全局上下文关系并处理长距离依赖特征信息,有效克服传统方法在特征融合中的局限性。最后,融合后的特征被输入至解码器网络中。解码器网络由解码器卷积(decoder conv-block, DCB)组成,并采用融合策略(fusion strategy, FS)融合特征,输出融合图像。该网络通过跨尺度视觉注意力模块(cross-scale visual attention module, CSVAM)和交叉约束模块(cross-domain constrain module, CDCM)进一步处理特征,确保远程依赖特征和空间特征的有效迁移与整合。CSVAM用于增强弱光照条件下的特征提取,而CDCM通过交叉域的特征交互,减少局部信息损失,生成高质量融合图像。
1.1 跨尺度视觉注意力模块
CSVAM由两阶段跨尺度交互式Transformer注意力模块(cross-scale interactive Transformer attention module,ACSITM)组成,如图2所示。
图
2
跨尺度视觉注意力模块结构
Fig.
2
Structure of cross-scale visual attention module
CSVAM的设计旨在提高计算效率,增强抗噪声能力,特别是在弱光照条件下的特征提取能力。首先,通过步长大于1的卷积进行两级下采样,降低特征图空间分辨率,减少计算复杂度。弱光环境下,ACSITM通过多尺度特征提取机制,捕捉不同尺度的特征以补充光照不足导致的细节缺失。接着,经过两阶段的ACSITM处理:第1阶段,利用自注意力机制提取关键特征,动态聚焦显著区域;随后进入第2阶段,进一步融合多尺度特征。为避免上采样中的“棋盘效应”,采用双线性插值与卷积组合进行上采样,确保特征图复原时不引入伪影或噪声。最后,利用逐元素加法整合不同路径特征,ReLU激活进一步提升显著区域的提取能力,使网络在各种光照条件下能准确捕捉关键特征。CSVAM通过结合跨尺度交互式Transformer、双线性插值与卷积的上采样方式,增强网络泛化能力和对显著区域的准确预测能力。
在ACSITM中,输入特征首先通过动态通道分割(dynamic channel partitioning,CDP)模块将其划分为多个不同尺度的特征。这些特征随后被输入至各个多头注意力(multi-head attention,AMH)模块中,每个AMH分别处理不同尺度的特征(Scale1、Scale2和Scale3),确保其在不增加计算复杂度的情况下充分捕捉不同尺度之间的相关性。其具体计算式为
(1)
式中:m=1,2,3;Softmax(·)为激活函数;Qm、Km和Vm分别为查询矩阵、键矩阵和值矩阵;\begin{equation}d_{k}\end{equation}为键的维数。
在每个AMH中,特征通过点积注意力机制进行处理。Qm和Km的维度通过可学习的权重进行线性变换,并使用常数对Km的维数进行归一化,以稳定训练过程中的梯度下降。在完成点积注意力计算后,不同尺度的特征在信道维度上进行连接,从而生成多尺度的注意力特征。跨尺度交互式Transformer注意力模块的结构如图3所示,其计算式为
(2)
式中:AMH1、AMH2、AMH3为多头注意力模块,Cat为注意力特征拼接操作,Wo为可学习的权重矩阵。
在跨尺度注意力计算之后,模块还包括层归一化(layer normalization,NL)和多层感知器(multilayer perceptrons,PML)处理步骤,进一步提升特征的表达能力,并确保网络的稳定性。最终输出融合3组不同尺度的注意力特征。
ACSITM整体过程表达式为:
(3)
(4)
(5)
式中:l为提取特征所在的层数,Fl-1、Ql-1、Kl-1和Vl-1分别为l-1层的特征、查询矩阵、键矩阵和值矩阵,k为卷积核大小,d为空洞卷积膨胀率,s为卷积步长,F′l为运算过程中的中间特征,Fl为包含多尺度融合的特征信息。
图
3
跨尺度交互式Transformer注意力模块结构
Fig.
3
Structure of cross-scale interactive Transformer attention module
1.2 交叉约束模块
为在不同图像之间促进共享特征建模,本文展示一种新型的交叉约束模块。该模块的核心是跨域交互式Transformer(cross-domain interactive Transformer, CDIT),用于跨域传递互补信息。图4为交叉约束模块结构。首先,输入特征经过并行的卷积层和归一化处理;然后,通过CDIT进行跨域信息的交互与融合,从而捕捉和传递来自不同域的互补特征;随后,CDCM利用下采样结构降低特征图的空间维度,减少计算复杂度,再通过卷积层与双线性插值恢复特征图的原始分辨率,确保细节信息的保留,残差连接确保输入信息的有效传递;最终,通过逐元素相加,将初始输入特征与处理后的特征进行融合,再经过ReLU激活,输出优化后的特征表示。在ACSITM之后,提出跨域交互式Transformer,其核心意义是利用多尺度特征交换的特性处理和共享提取后的输入特征。
图
4
交叉约束模块结构
Fig.
4
Structure of cross-domain constrain module
在CDIT中,输入特征首先经过CDP进行预处理;然后分别通过AMH1和AMH2在各自域内和跨域之间进行交互注意力计算,确保不同任务域的信息有效融合;接着,特征经过NL和PML处理,进一步增强特征的非线性表示能力;最终,来自不同图像的特征通过逐元素相加进行融合,生成各自的输出。CDIT结构如图5所示。
CDIT模块整体过程表达式为:
(6)
(7)
(8)
(9)
(10)
(11)
式中:和分别为生成性任务和区别性任务的查询矩阵、键矩阵和值矩阵,为CDIT模块的输入特征,为中间特征。
图
5
跨域交互式Transformer模块结构
Fig.
5
Structure of cross-domain interactive Transformer module
1.3 基于Transformer的融合策略
基于Transformer的融合策略如图6所示,其中和表示编码网络提取m∈{1,2,3,4}尺度可见光和红外图像的深层特征,为通过变压器融合的深层特征。借助多头自注意力模块构建长距离依赖关系并学习全局上下文特征。将红外和可见光特征通过基于Transformer的融合模块进行融合,并利用CDP建立特征图各元素之间的联系。本文将基于Transformer的融合策略应用于多个尺度上,经过特征解码后得到融合图像。
图
6
基于Transformer的融合策略
Fig.
6
Fusion strategy based on Transformer
1.4 损失函数
在图像融合网络中,损失函数决定融合图像中关键信息的比例与质量。为此,本文设计了总体损失函数Ltotal、像素强度损失函数Lpixel和细节损失函数Ldetail。各损失函数的表达式分别为:
(12)
(13)
(14)
式中:α和β分别为平衡像素强度损失和细节损失的系数,i和j为输入图像的像素坐标,H和W分别为图像的高度和宽度,为Sobel梯度算子。
通过采用最大值选择策略,损失函数在计算过程中能够有效增强融合图像中红外目标的显著性,使红外信息在结果中更为突出。
2 实验结果与分析
2.1 实验数据集和实验设置
实验在Windows 11操作系统上进行,软件环境为Python 3.7,硬件配置为13代英特尔酷睿处理器、2.50 GHz,搭配GPU。训练与测试均在PyCharm编译器中进行。所有图像大小均调整为256×256像素,超参数α=1、β=10,所有实验的学习率均为1×10-4,epoch为4,batch size为2。
2.2 对比网络和评价指标
为验证本文网络的优越性,将所提网络与9种目前最先进的基于深度学习的图像融合网络(SwinFusion[14]、CrossFuse[18]、DenseFuse[21]、DIDFuse[22]、SDNet[23]、IFCNN[24]、PIAFusion[25]、TarDAL[26]和MTDFusion[27])进行对比。
为客观比较不同网络的融合性能,采用信息熵(entropy,EN)、标准差(standard deviation,SD)、空间频率(spatial frequency,SF)、视觉保真度(visual fidelity,VIF)、平均梯度(average gradient,AG)、差异相关系数(sum of correlations of differences,SCD)、多层级结构相似性(multi-scale structure similarity,MI-SSIM)和边缘信息保留质量(quality metric based on edge preservation,QAB/F)8种客观评价指标对融合图像进行评价。EN表示图像信息量的丰富程度,EN越高,图像的信息量越大。SD反映图像灰度值的离散程度,SD越大,图像的对比度越高。SF衡量图像细节变化的快慢,SF越高,图像的清晰度越高。VIF评估融合图像与原始图像在感知上的相似度,其值越高,视觉质量越好。AG表示图像灰度变化的速度,AG越大,图像的边缘和细节越清晰。SCD衡量融合图像与源图像之间的相关性,较高的SCD表示融合图像更好地保留了源图像的特征。MI-SSIM衡量融合图像与参考图像在不同尺度上的结构相似性,是衡量图像结构保真度的综合指标。QAB/F专门用于评价图像融合质量,尤其关注边缘和纹理的保留情况。
2.3 融合策略实验分析
在融合模块中,比较了最大值(max)、平均值(avg)、相加(add)、基于核范数(nuclear-norm)、视觉显著性注意力机制融合策略(saliency concatenation attention, SCA)与本文选取的融合策略对融合结果的影响,不同融合策略下TNO数据集Marne_04图组中的两对图像主观比较如图7所示。
图
7
不同融合策略下TNO数据集Marne_04图组的主观比较
Fig.
7
Subjective comparison of TNO dataset Marne_04 under different fusion strategies
由图7可知,对比其他融合策略,本文提出的基于Transformer的融合策略能生成更清晰、视觉效果更佳的图像,体现出了所提策略在提升融合性能方面的优势。
2.4 对比实验
2.4.1 TNO数据集对比实验
为验证所提网络在图像融合任务中的融合性能,在TNO数据集42对红外与可见光图像对上与上述9种红外和可见光图像融合网络开展定性和定量对比实验,结果如图8和表1所示。
由图8可以看出:DenseFuse和MTDFusion未能有效平衡红外和可见光图像的信息,丢失了较多信息,如树木的边缘轮廓等;DIDFuse结果对比度较低;SwinFusion融合图像的红外显著信息清晰,但轮廓边缘模糊;SDNet和TarDAL部分区域出现了伪影情况,不利于观察;IFCNN的人物边缘轮廓比较模糊;PIAFusion和CrossFuse均能在充分保留可见光丰富纹理细节的同时,突出红外图像中的显著目标,但融合图像出现了不同程度的伪边缘现象;本文网络能够全面集成源图像的边缘细节、纹理及强度信息,同时确保关键特征在融合图像中得到充分保留,从而生成高质量的图像。
图
8
TNO数据集对比实验主观比较
Fig.
8
Subjective comparison of TNO dataset comparison experiment
由表1可以看出,本文网络的EN、SD、VIF、AG、SCD、MI-SSIM和QAB/F均为最优,SF为次优,本文网络在整体视觉质量、信息保留和结构相似性方面进行了优化,导致在特定的纹理和细节增强即SF上略微有所折中。然而,这样的次优表现并不影响本文网络在其他关键指标上的突出表现,并且仍然达到了综合性能的最佳效果。同时,与其他9种网络的EN、SD、SF、VIF、AG、SCD、MI-SSIM和QAB/F的平均值相比,本文网络分别提升了10.5%、27.8%、19.5%、17.1%、24.1%、12.5%、14.7%和13.3%,说明本文网络能在特征层面还原源图像,更完整地保留了源图像信息,进而产生了更符合人眼偏好的融合效果。
表
1
TNO数据集对比实验客观评价结果
Tab.
1
Objective evaluation results of TNO dataset comparison experiment
2.4.2 Road scene数据集对比实验
为进一步验证本文网络的合理性,采用Road scene数据集中的40对源图像进行测试,并从中选取了3组典型图像进行主客观对比。主观对比结果如图9所示,客观对比结果见表2。
图
9
Road scene数据集对比实验主观比较
Fig.
9
Subjective comparison of Road scene dataset comparison experiment
表
2
Road scene数据集对比实验客观评价结果
Tab.
2
Objective evaluation results of Road scene dataset comparison experiment
由图9可以看出:DIDfuse和SwinFusion网络较好地保存了辐射目标信息,但丢失了部分纹理细节信息,如场景二中的车牌号以及道路标牌信息;IFCNN和PIAFusion虽能有效突出红外目标,却在细节保留上有所欠缺,如场景三中的灌木丛轮廓纹理信息;SDNet和DenseFuse网络能够有效保存纹理细节信息,但缺乏红外显著目标,如场景三中的道路指示牌纹理细节模糊;TarDAL融合图像出现失真现象,尤其是场景三中的天空区域偏暗;MTDFusion和CrossFuse高效地融合了红外和可见光信息,但路面细节信息不够突出;本文网络的融合结果兼具完整显著的热目标与丰富的可见光细节,其综合性能优于对比网络。
由表2可以看出:本文网络的EN、SD、SF、VIF、AG和QAB/F均为最优,证明融合图像信息较为全面、纹理细节清晰、对比度较好且与主观视觉一致;SCD和MI-SSIM为次优,两个指标略逊于其他网络。与其他9种网络的EN、SD、SF、VIF、AG、SCD、MI-SSIM和QAB/F的平均值相比,本文网络分别提升了8.6%、15.2%、22.3%、24.0%、24.3%、8.9%、20.8%和30.3%,说明融合后的图像信息量大、细节丰富、对比度高,验证了本文网络的客观有效性。
2.5 运行效率对比实验
融合网络的执行时间同样是衡量模型优越性的关键指标。从表1和表2的运行时间(t)对比可知,本文网络的计算开销略高于SDNet、PIAFusion和SwinFusion,但这3种网络在融合图像的细节质量与对比度方面均存在明显不足,反映出其性能与效率间的权衡局限。综合融合效果与运行效率,本文网络整体性能优越。
2.6 消融实验
为进一步说明本文所提网络的有效性,通过消融实验分析跨尺度空间注意力和交叉注意力对网络性能的影响。设计5种消融实验:实验1(去掉跨尺度视觉注意力中的跨尺度交互式Transformer)、实验2(去掉跨尺度视觉注意力模块)、实验3(去掉交叉注意力中的跨域交互式Transformer)、实验4(去掉交叉注意力模块)和本文所提完整网络。在TNO测试集对选取的20组图像进行消融实验,分别得出EN、AG、SF、VIF和SD评价指标数据,计算平均值进行客观分析。主观对比结果如图10所示,客观对比结果见表3。
由图10可以看出,本文网络所得融合图像红外特征显著、目标清晰可辨,可见光纹理细节丰富、边缘轮廓清晰,整体视觉效果更佳。由表3可知,在5个评价指标中,本文网络均为最优,说明本文网络能有效提取源图像的信息,融合图像清晰。总体而言,本文网络无论是主观视觉还是客观评价指标均优于其他4个降级的模型框架,证明了本文网络中跨尺度视觉和交叉注意力的有效性。
图
10
消融实验主观对比结果
Fig.
10
Subjective comparison results of ablation experiment
表
3
消融实验的客观对比结果
Tab.
3
Objective comparison results of ablation experiment
3 结论
1)设计了跨尺度视觉注意力模块,在弱光照条件下强化了特征提取,引导注意力权重向低对比度区域倾斜,优化了融合图像的视觉效果。
2)设计了交叉约束模块,通过全局特征的交互与融合,精细地保留并强化边缘、纹理等关键信息,有效减少了局部细节的损失。
3)采用基于Transformer的融合策略,通过多头自注意力机制构建可见光与红外深层特征间的长程依赖,在各尺度上建立特征图元素间的广泛联系,提升了融合性能。
4)在TNO数据集上,与其他9种网络的EN、SD、SF、VIF、AG、SCD、MI-SSIM和QAB/F的平均值相比,跨尺度交叉注意力的Transformer网络分别提升了10.5%、27.8%、19.5%、17.1%、24.1%、12.5%、14.7%、13.3%;在Road scene数据集上,与其他9种网络的EN、SD、SF、VIF、AG、SCD、MI-SSIM和QAB/F的平均值相比,跨尺度交叉注意力的Transformer网络分别提升了8.6%、15.2%、22.3%、24.0%、24.3%、8.9%、20.8%、30.3%,说明本文网络生成的融合图像目标显著、纹理细节丰富、对比度高。
未来的研究将进一步优化网络结构,提升图像融合质量,并将该网络应用于更多的实际场景和数据集,以验证其适用性和鲁棒性。

