摘要
为解决单阶段文本到图像生成技术存在的生成结果单一、精确调控困难等局限性,提出一种基于词级注意力的多样化文本到图像生成对抗网络框架(diverse text-to-image generative adversarial network framework based on word-level attention,WordGAN)。该框架在条件生成对抗网络的基础上,引入双重注意力机制、双残差连接设计和线性层策略。其中,双重注意力机制由条件自适应实例-层归一化、通道注意力模块和像素注意力模块组成,通过量化分析文本描述中各词汇的语义贡献度捕捉网络特征通道及空间像素的权重分布;双残差连接设计用于维持底层视觉特征完整性和支持更深层次的网络扩展;线性层策略利用线性层改变原有图像模式,促进框架探索更多次要模式。在CUB bird、MSCOCO和Oxford-102基准数据集上进行一系列实验,结果表明:WordGAN有效地实现了生成图像的多样性,而且不会损害质量和语义一致性,其性能水平优于所对比的文本到图像生成框架。本文提出的基于词级注意力的多样化框架为单阶段文本到图像生成任务研究提供了新的思路,具有实际应用价值。
Abstract
To address the limitations of single-stage text-to-image generation technology, such as limited diversity of generated results and difficulty in precise control, this paper proposes a diverse text-to-image generative adversarial network framework based on word-level attention (WordGAN). Building on conditional generative adversarial networks, the framework incorporates a dual attention mechanism, a dual residual connection design, and a linear layer strategy. The dual attention mechanism consists of conditionally adaptive instance-layer normalization, a channel-attention module, and a pixel-attention module. It captures the weight distribution of network feature channels and spatial pixels by quantitatively analyzing the semantic contribution of each word in the text description. The dual residual connection design maintains the integrity of low-level visual features and supports deeper network expansion. The linear layer strategy uses linear layers to alter original image patterns, encouraging the framework to explore more secondary patterns. A series of experiments was conducted on the CUB bird, MSCOCO, and Oxford-102 benchmark datasets. The results show that WordGAN effectively achieves diversity in generated images without compromising quality and semantic consistency, and it outperforms other baseline text-to-image generation frameworks. The proposed diverse framework based on word-level attention provides a new approach for research on single-stage text-to-image generation tasks and demonstrates practical application value.
文本到图像生成任务能够根据给定的文本描述自动生成高质量且语义一致的图像。这一任务在艺术创作、计算机辅助设计、数据增强、照片编辑等多个应用场景中具有重要价值[1]。近年来,文本到图像生成任务已发展成为连接计算机视觉与自然语言理解两大领域的前沿课题。
为了克服多阶段文本到图像生成框架的局限性,研究者们致力于开发单阶段文本到图像生成框架,其中具有代表性的工作是DTGAN[1]和DF-GAN[2]框架。这类单阶段框架通过采用一组生成器/对抗器生成与文本描述语义一致的高质量图像。然而,当前的单阶段文本到图像生成框架仍面临两个关键挑战:1)模式坍塌问题。该问题表现为生成器在给定文本输入时,生成模糊的图像。在严重情况下,条件生成对抗网络(conditional generative adversarial network,cGAN)可能基于同一文本描述生成高度相似的图像集合[3]。如图1所示,尽管引入了随机噪声,DF-GAN仍然难以产生多样性的图像。这种局限性显著降低了生成图像的多样性,进而影响其实际应用价值。以数据增强为例,只有生成具有丰富形态变化的图像,才能有效提升分类模型的鲁棒性。2)现有方法主要依赖全局句子向量进行特征图调制,缺乏对单词级别细粒度信息的有效利用。这种粗粒度的特征表示,限制了模型根据自然语言描述中的具体细节精确控制图像生成过程的能力,难以实现对图像局部特征的精细调控。
基于此,本文提出基于词级注意力的多样化文本到图像生成对抗网络框架(diverse text-to-image generative adversarial network framework based on word-level attention,WordGAN)。该框架包括两种新的词级注意力模块,分别为通道注意力模块(channel-attention module,CAM)和像素注意力模块(pixel-attention module,PAM),两种模块能够引导模型更关注与给定文本描述中重要的单词(如形容词和名词等)有语义联系的关键通道和像素。同时,WordGAN引入一个双残差块和一个线性层,每个残差块包括卷积层、条件自适应实例-层归一化(conditional adaptive instance-layer normalization,CAdaILN)和调制模块,线性层用于增强网络的生成能力。
图
1
DF-GAN缺乏多样性示例
Fig.
1
Lack-of-diversity examples of DF-GAN
1 基础概念
1.1 cGAN
作为生成对抗网络模型(generative adversarial network,GAN)的衍生模型,cGAN将特定约束信息c(如类别标签、文本描述和低分辨率图像)和随机噪声向量z共同作为生成器G的输入,进而产生与c语义相符的图像[4]。该模型的对抗器D负责判断真实图像-条件对(x,c)与生成图像-条件对(G(z,c),c)。cGAN的优化目标V(G,D)可表示为
(1)
式中:pdata(x)、pz(z)分别为真实图像x的概率分布与潜在向量z的分布,pc(c)为c的分布,为真实数据分布期望值,为生成数据分布期望值。
1.2 模式坍塌分析
模式坍塌是指模型未能学习真实数据分布的所有模式,出现生成图像缺乏多样性的现象。对于cGAN来说,模式坍塌指的是根据相同的条件上下文产生的图像是相似的[5]。缺乏多样性问题的主要原因之一是生成器受网络生成能力的限制,仅捕捉真实数据分布的一部分,未能获取全部模态[6]。尽管生成器试图将随机潜在向量映射到原始数据分布中,但这样的映射不是满射的[7]。当设计的模型不够强大时,网络只能捕捉真实数据分布的少数几个模态,并倾向于将不同的输入映射到这些模态。
在单阶段文本到图像生成框架中,缺乏多样性问题变得更加严重[8]。在单阶段框架中,随机潜在向量被用作输入,负责图像变化,而文本特征则作为辅助信息调制视觉特征图,并确定主要的图像内容。为了增强生成图像的语义一致性,生成器通常利用调制模块对每个尺度的特征图进行调制。此作法可能使网络更倾向于高维结构化的文本上下文特征,进而忽略低维潜在向量。本文旨在增强网络的生成能力,加强随机潜在向量对生成图像的控制,以改善多样性。
2 WordGAN
2.1 WordGAN的总体框架
WordGAN的总体框架如图2所示。第1层利用一个全连接层(fully-connected layer,FC)处理潜在向量z∈R100,并将结果重塑为初始特征图F0∈R4×4×256。之后,F0被输入到基本生成器模块,该模块主要包括7个双重残差块,接收来自文本编码器的文本嵌入,将其作为额外的条件上下文,以提升生成图像的质量。
双重残差块由两个残差模块组成,每个残差模块由一组卷积层、条件自适应实例-层归一化(conditional adaptive instance-layer normalization,CAdaILN)、ReLU激活函数和调制模块(通道注意力模块CAM和像素注意力模块PAM)构成。同时,在两个残差模块之间插入Leaky-ReLU激活的卷积层[9]和CAdaILN,以减轻对文本条件信息的控制。双重残差块不仅通过保留比级联卷积更多的原始视觉特征,加速收敛速度,而且能够有效增加网络深度,进而提高网络容量,生成具有更多细节的高质量图像。
图
2
WordGAN整体框架
Fig.
2
Overall architecture of the WordGAN
为解决缺乏多样性的问题,本文在网络结构设计上进行了一系列实验,以加强随机潜在向量对视觉特征图的控制,进而增强生成图像变化。实验结果显示,FC可以显著提升网络的生成能力,促进模型探索真实数据分布的次要模式。因此,本文尝试在文本到图像生成框架中插入一个FC。实验结果表明,在第2个双重残差块之后插入一个FC,可以在图像质量和多样性上取得最佳的性能。具体来说,将第2个双重残差块的输出特征图F2∈R8×8×256首先调整为R16 384并输入到一个保持输入特征维度的FC;然后,F2再次被重塑为R8×8×256并传递到下一个双重残差块;最后,生成器模块的输出会输入至一个由tanh函数激活的卷积层[10],进而生成最终图像。
通过插入一个FC,网络无法利用前面特征图的空间二维布局信息,需要将所有必要信息编码为一维向量(嵌入),以此作为后续层中展开至二维的基础。因此,在框架的这个位置,将得到一个可注入随机噪声的表示,进而增加生成模式的多样性。网络难以轻易复制早期特征图中的(部分)二维模式,避免了许多GAN框架出现的“查找表”行为。
如果FC在网络中位置靠前,其获得的便是早期、粗糙的特征信息,这些信息不足以生成语义一致的输出模式。例如,如果早期的特征图表示的是小鸟组件,网络将无法将其组装成完整的鸟。另一方面,如果FC在网络中位置靠后,其接收到的将是几乎完整的模式,进而导致生成图像缺乏多样性。此外,因为GPU内存有限,在第3个或更深层的残差块之后插入一个FC非常困难。
2.2 双重注意力机制
条件上下文和视觉特征图之间的语义关联对图像生成尤为关键。然而,对于文本到图像生成来说,这种关系会变得更加复杂,因为给定的句子包含一系列词汇,这些词汇对生成图像有不同的贡献。例如,输入文本描述中的形容词会更多地与生成的图像相关联,而不定冠词“the”则影响较小。此外,尽管双重残差结构有利于模型容量和训练稳定性,但可能会引入噪音和冗余信息。基于这些原因,本文设计两种新的词级注意力模块,分别为通道注意力模块CAM和像素注意力模块PAM,用于探索上下文特征与视觉特征图之间的潜在语义关系。CAM和PAM能识别给定文本描述中的重要词汇(如形容词和名词),使网络关注与这些词汇在语义上相关联的关键通道和像素,还可以从通道和空间角度减轻语义无关和冗余特征的影响。
2.2.1 条件自适应实例-层归一化
为提高GAN的训练稳定性,大多数现有的文本到图像生成框架采用批归一化(batch normalization,BN)[11]应用于整个批次生成的图像而不是单个图像。然而,BN的收敛性严重依赖于批次大小。此外,在文本到图像生成领域,BN的优势并不太明显,因为每个生成图像更多地与给定的文本描述和特征图本身相关联。因此,通过CAdaILN,在特征映射的层级和通道维度实施归一化操作,并整合从全局语句向量中提取的语义信息调制归一化后的特征表示,如图3所示。具体而言,通过两个全连接层矩阵W1和W2将句子向量s转换为语言线索γ∈R1×1×C和β∈R1×1×C。同时,对视觉特征图使用实例归一化(instance normalization,IN)和层归一化(layer normalization,LN)进行处理。对IN和 LN的输出和进行自适应求和来获得归一化的特征图。然后,利用γ和β对进行缩放和移位。CAdaILN过程的数学表达式为:
(2)
(3)
(4)
(5)
式中ρ∈R1×1×C为可学习参数,决定IN和LN的比例,其取值限定在[0,1]。同时,ρ与生成器参数一起更新。
图
3
CAdaILN流程
Fig.
3
Process of CAdaILN
2.2.2 CAM
CAM的详细结构如图4所示。给定特征图Fc∈RH×W×C(H、W、C分别表示Fc的高度、宽度、通道数),首先采用全局平均池化和最大池化对其进行处理,以提取整体统计信息和显著特征,分别得到通道特征向量Fca∈R1×1×C和Fcm∈R1×1×C。随后,采用两个独立的1×1卷积层而不是一个1×1卷积处理Fca和Fcm,因为平均池化和最大池化捕获不同的全局空间特征分布。然后,输出维度被转换为R1×C并在第1维上重复C次以获得平均池化查询Fcaq∈RC×C和最大池化查询Fcmq∈RC×C两个特征。以上过程的数学表达式分别为:
(6)
(7)
式中:Pavg和Pmax分别表示全局平均池化和最大池化,Caq和Cmq表示1×1卷积层,Cre表示重塑和重复操作。
图
4
通道注意力模块示意
Fig.
4
Overview of the channel-attention module
对于单词-上下文向量E∈RM×N(M表示单词嵌入的维度,N表示给定文本描述中的单词数量),将其传入两个不同的1×1卷积层,然后经过ReLU激活函数,生成两个上下文向量:键Fck∈RC×N和值Fcv∈RC×N,其位于视觉特征的共同语义空间中。接着,沿第2维计算Fcv的均值,并将其维度调整为R1×C。同时,将结果与Fcv相乘,以获得表示句子中每个单词重要性的上下文注意力图Eci∈R1×N,注意力图中的较大值意味着相应的单词与生成图像更加相关。上下文注意力图的获取过程可表示为:
(8)
(9)
(10)
式中:Cck和Ccv表示带有ReLU激活函数的1×1卷积层,Cmean表示平均和重塑操作。
为建模单词-上下文特征和通道之间的语义关联,在查询向量和键Fck∈RC×N之间进行点积操作,并应用Softmax函数得到上下文通道注意力矩阵,该矩阵表示文本描述中通道与单词之间的语义相似性权重。最后,通过对上下文通道注意力矩阵与Eci的转置进行点积操作,使用Softmax函数处理结果,并将其维度调整为R1×1×C,以得到通道注意力权重Wca和Wcm。上述过程的数学表达式为:
(11)
(12)
(13)
(14)
式中:Dis(·)表示点积操作,Fa∈RC×N、Fm∈RC×N分别为Fcaq、Fcmq的上下文通道注意力矩阵,Wca∈R1×1×C、Wcm∈R1×1×C分别为Fa、Fm的通道注意力权重。
在获取通道注意力分数后,将其与原始特征图相乘,以重新加权视觉特征图,使得网络更多地关注特征图中有用的通道,为其分配更大的权重。同时,设计一种自适应门控方法,动态合并全局平均池化和最大池化的输出特征图。融合特征图Fcw∈RH×W×C的获取过程如下:
(15)
(16)

(17)
(18)
式中:⊙表示逐元素相乘,Fcaw、Fcmw为重新加权的特征图,gca为用于融合视觉特征图的响应门控,Cga和Cgm为将通道数量减少至1的FC矩阵,σ(·)为Sigmoid函数。
为了进一步保留基本特征并稳定cGAN的学习,采用自适应残差连接生成最终结果Fcu∈RH×W×C。上述过程的数学表达式为
(19)
式中γc为可学习参数,初始值为0。
2.2.3 PAM
如上所述,CAM从通道的角度重新加权视觉特征图。然而,除了视觉特征图中的通道外,像素对质量和语义一致性也非常重要。因此,本文引入PAM捕获像素与单词-上下文向量之间的空间相互关系,使得网络能够更多关注重要的像素。值得注意的是,PAM是在CAM的输出结果上执行的,因为特征图中同一通道的像素仍然共享相同的权重。
PAM的框架如图5所示。对于特征图Fs∈RH×W×C,首先在空间维度上对其进行平均池化和最大池化,提取全局特征,得到两个空间特征向量Fsa∈RH×W×1和Fsm∈RH×W×1。然后,将Fsa和Fsm的维度调整为R(H×W)×1,并沿着第2维度重复C次,得到平均池化查询Fsaq∈R(H×W)×C和最大池化查询Fsmq∈R(H×W)×C。上述过程的表达式为:
(20)
(21)
式中Savg、Smax分别表示在空间维度上的平均池化和最大池化。
图
5
像素注意力模块示意
Fig.
5
Overview of the pixel-attention module
给定单词-上下文特征E∈RM×N,采用与CAM相同的方式对其进行处理,产生键Fsk∈RC×N、值Fsv∈RC×N和上下文注意力图Esi∈R1×N。上述过程的数学表达式为:
(22)
(23)
(24)
式中Csk和Csv为带有ReLU激活函数的1×1卷积层。
随后,通过对查询与键Fsk∈RC×N的点积应用Softmax函数,得到空间-语义注意力图。空间-语义注意力图表示像素与文本描述中单词之间的语义相似性权重。接着,对空间-语义注意力图和Esi的转置进行点积操作,利用Softmax函数获得像素级注意力权重,并将其转换为RH×W×1。像素级注意力权重Wsa∈RH×W×1、Wsm∈RH×W×1的获取过程如下:
(25)
(26)
(27)
(28)
式中:Sa∈R(H×W)×N、Sm∈R(H×W)×N分别为Fsaq、Fsmq的空间-语义注意力图,Wsa∈RH×W×1、Wsm∈RH×W×1分别为Sa、Sm的像素级注意力权重。
与CAM相同,对像素级注意力得分与原始特征图进行矩阵乘法,以增强视觉特征图的语义一致性。同时,为了保留重要特征,将平均池化和最大池化的重新加权特征图合并,并将其传入一个带有ReLU激活函数的1×1卷积层,以生成合并后的特征图Fsw∈RH×W×C。然后,采用自适应残差连接获得最终输出Fsu∈RH×W×C。同时,将经过平均池化与最大池化重新加权后的特征图进行合并,再将其传入一个带有ReLU激活函数的卷积层,从而生成合并后的特征图。上述过程的数学表达式为:
(29)
(30)
(31)
(32)
式中:Fsaw和Fsmw为重新加权的特征图;[;]表示沿通道维度的连接操作;Cconv为带有ReLU激活函数的1×1卷积操作;γs为一个可学习的参数,初始值为0。
PAM和CAM对于提升生成图像的语义一致性和图像质量十分关键,原因包括以下几点:1)PAM和CAM对每个单词的重要性进行建模,以突出给定文本描述中的重要单词(例如形容词和名词),使生成器更加关注生成图像的语义相关部分;2)为提升生成效果,结合平均池化和最大池化技术,分别提取多样化的全局空间特征及通道信息;3)设计一种自适应门控方法,动态合并平均池化和最大池化的输出特征图,以获得更好的性能;4)将注意力权重应用至所有的通道和像素,以增强多层特征图的语义一致性,并采用自适应残差连接生成最终图像,以保留基本特征并稳定cGAN的学习;5)与先前的方法不同,本文利用注意力模块在通道和空间维度上调制每个尺度特征图;6)本文提出的CAdaILN可灵活控制形状和纹理的变化程度,为注意力模块提供补充。
3 仿真实验
为验证WordGAN在图像多样性、质量和语义一致性方面的有效性,在3个基准数据集上进行定量和定性实验。
3.1 实验设置
3.1.1 数据集设置
本文在CUB bird[12]、Oxford-102[13]和MSCOCO[14]3个数据集上评估WordGAN。这些数据集也被DF-GAN[2]、StackGAN[15]、AttnGAN[16]、MirrorGAN[17]、ControlGAN[18]、SDGAN[19]和DM-GAN[20]等框架所使用。
1)CUB bird数据集。该数据集包含11 788张图像,其中8 855张图像属于训练集,2 933张图像属于测试集。每张图像包含10个对应的文本描述。本文采用StackGAN中的方法对CUB bird数据集进行预处理。
2)Oxford-102数据集。该数据集包括5 878张训练图像和2 311张测试图像,每张图像均附带10个文本描述。
3)MSCOCO数据集。作为一个更具挑战性的数据集,MSCOCO共包含123 287张图像,其中82 783张图像用于训练,40 504张图像用于测试。每张图像均配有5条人工标注的文本描述信息。
3.1.2 参数设置
对于文本编码器,本文遵循DTGAN[1]的方法,利用预训练的双向LSTM获取词向量和全局句子向量。同时,采用DTGAN损失函数。潜在向量的维度设置为100。在训练方面,使用Adam优化器训练网络,其中衰减率b=(0,0.9)。同时,采用双时间尺度更新策略[21],分别将生成器和对抗器的学习率设定为0.000 1和0.000 4,批次大小设置为16。使用PyTorch实现WordGAN,所有实验均在一块NVIDIA Tesla V100 GPU(32 GB内存)上进行。
3.1.3 评估指标
采用3项通用评估指标进行性能评估,分别为感知分数(inception score,IS)[22]、Fréchet感知距离(Fréchet inception distance,FID)[23]和可学习感知图像块相似度(learned perceptual image patch similarity,LPIPS)[24]。前两项指标用于评估图像质量,LPIPS用于评估生成图像的多样性。LPIPS通过计算生成图像之间的平均特征距离检测多样性,LPIPS越大,表示生成的图像差异性越大,多样性越强。
对于Oxford-102数据集,由于缺乏比较分数,本文没有列出对应的FID。在测试时,根据训练集中未出现的文本描述生成了30 000张图像用于计算IS均值和FID。
3.2 与先前框架的比较
3.2.1 定量结果
在CUB bird、Oxford-102以及MSCOCO 3个基准数据集上,将WordGAN与现有的单阶段及多阶段条件生成对抗网络文本到图像生成框架进行对比。WordGAN与其他框架在CUB bird和Oxford-102数据集上的IS均值结果见表1。由表1可以看出,WordGAN取得了最佳的性能。在CUB bird数据集上,相比于DTGAN框架,WordGAN将IS均值提高了0.25;在Oxford-102数据集上,相比于DTGAN框架,WordGAN将IS均值提高了0.30。说明WordGAN能够生成具有感知合理的图像,且质量优于先前的框架。
表
1
文本到图像生成框架的IS均值对比
Tab.
1
Comparison of the IS mean for text-to-image generation frameworks
WordGAN、StackGAN++、AttnGAN和DF-GAN在CUB bird和MSCOCO数据集上的FID比较结果见表2。显然,WordGAN在两个数据集上的FID明显低于其他框架,表明WordGAN生成的数据分布更接近真实的数据分布。具体来说,在MSCOCO数据集上,相比于DF-GAN,WordGAN将FID降低了9.24;在CUB bird数据集上,相比于DF-GAN,WordGAN将FID降低了4.93。
表
2
文本到图像生成框架FID对比
Tab.
2
FID comparison of text-to-image frameworks
3.2.2 定性结果
DM-GAN、DF-GAN和WordGAN在MSCOCO和CUB bird数据集上的定性比较如图6所示。由图6可以看出,WordGAN能够根据文本描述生成高质量且语义一致的图像。例如,在生成复杂场景方面,WordGAN在图6(a)中生成的红色公交车比DF-GAN和DM-GAN具有更生动的细节(第1列),生成了一个具有合理木制柜台的厨房(第2列),路上清晰的红色标志(第3列),色彩丰富的新鲜蔬菜和水果(第4列),一个男人在逼真的海浪上冲浪(第5列)以及美丽的夜间街道(第6列)。而DM-GAN和DF-GAN生成的图像对象模糊不清(第1~3、7、8列),背景单调(第4~6列)。更重要的是,WordGAN在第7列生成了一个令人印象深刻的欧洲钟楼。以上结果表明,具有双重残差结构的WordGAN能够捕捉文本描述中的关键词,并突出生成图像的主要对象,生成具有生动细节的高质量多目标场景。
由图6(b)可以看出,虽然DM-GAN、DF-GAN和WordGAN都生成了颜色和形状一致的鸟图像,但WordGAN更加注重生成图像中与输入文本描述相关的部分,生成了高质量的鸟图像。此外,由DM-GAN(第1、2、5、7列)和DF-GAN(第5、7、8列)生成的一些鸟图像的背景是不合理的,表明通过词级注意力模块,WordGAN能够缩小视觉特征图与词向量之间的语义差距,生成与文本描述语义一致的高质量图像。
图
6
DM-GAN、DF-GAN和WordGAN在MSCOCO和CUB bird数据集上定性结果比较
Fig.
6
Qualitative comparison results of DM-GAN,DF-GAN and WordGAN on the MSCOCO and CUB bird datasets
在Oxford-102数据集上,DF-GAN、DTGAN和WordGAN之间的定性比较结果如图7所示。由图7可以看出,WordGAN生成的花朵图像细节更生动、颜色更丰富、形状更清晰,相较于DF-GAN和DTGAN生成的图像更为合理,这证实了WordGAN的有效性。近两年,出现了一系列以扩散模型为主的文生图模型,但需要大量的文本-图像对训练,并且需要强大的GPU作为算力支撑,不在本文的探讨范围之内。
3.2.3 人类评估
在CUB bird和MSCOCO数据集上进行人类评估,以测试DM-GAN[22]、DF-GAN[23]和WordGAN的图像质量和语义一致性。分别从两个数据集中随机选择100张图像,在给定相同文本描述的情况下,要求用户根据图像细节和相应的文本描述,从3种框架生成的图像中选择最佳图像。此外,为了公平起见,最终得分由4名评委计算得出,并由1名人员进行监督。在评估过程中,采用双盲评估机制,即评估者不知道图像来源,图像提供者也不知道评估者身份。人类评估结果如图8所示。由图8可以看出,在两个数据集上,WordGAN明显优于DM-GAN和DF-GAN,尤其是在MSCOCO数据集上,表明了WordGAN的有效性。
图
7
DF-GAN、DTGAN和WordGAN在Oxford-102数据集上的定性结果比较
Fig.
7
Qualitative comparison results of DF-GAN,DTGAN and WordGAN on the Oxford-102 dataset
图
8
人类评估结果
Fig.
8
Human evaluation results
3.3 FC在图像多样性中的有效性
为验证FC在提升图像多样性方面的有效性,在CUB bird、Oxford-102和MSCOCO数据集上进行定量评估,并在CUB bird数据集上进行定性比较。
为了更好地表示比较的框架,本文约定F1表示StackGAN++,F2表示模式寻找生成对抗网络(mode seeking generative adversarial network,MSGAN)[25],F3表示DF-GAN,F4表示DTGAN,F5表示去除FC的WordGAN,F6表示引入条件增强(conditional augmentation,CA)技术的F5框架,F7表示引入模式寻找(mode seeking,MS)技术的F5框架,F8和F9分别表示在F5的第1个双重残差块之后分别插入1个和2个FC的框架,F10表示WordGAN。
根据不同目标设计了3组定量比较。第1组用于评估单阶段文本到图像框架生成图像的质量和多样性,具体包括DF-GAN和DTGAN,引入CA的StackGAN++[15]和引入MS的MSGAN。第2组用于比较提出的插入FC方法与CA和MS。为公平比较,将去除FC的WordGAN作为基准框架(F5),F6(F5+CA)和F7(F5+MS)分别将CA和MS添加至F5中进行比较。第3组用于验证在F5中插入FC的不同方式的有效性,具体包括F8(F5+FC(1))、F9(F5+FC(1+1))和F10(WordGAN)。
定量结果见表3。在CUB bird数据集上,通过比较F10与F1~F4可以看出,WordGAN将LPIPS从0.544提高至0.682,证实了WordGAN在多样性方面的有效性。通过比较F7与F5可以看出,F7在CUB bird数据集上将LPIPS提高了0.118,但其在CUB bird和Oxford-102数据集上的IS均值分别降低了0.34和0.05,在CUB bird数据集上的FID增加了2.06,在MSCOCO数据集上的FID增加了1.91。说明虽然引入MS可以提高图像的多样性,但可能会降低图像质量。由表3还可以看出,F5的性能优于F6,说明CA对当前单阶段文本到图像方法而言,在提升图像多样性方面可能不太有效。F8~F10均比F5具有更大的LPIPS,证明了FC在提高多样性方面的有效性。此外,F10的表现优于F8和F9,在CUB bird数据集上将LPIPS分别提高了0.103和0.027,将IS均值分别提高了0.37和0.40,将FID分别降低了4.03和4.35;在Oxford-102数据集上将IS均值分别提高了0.20和0.22,在MSCOCO数据集上将FID分别降低了2.48和2.87,说明在F5的第2个双重残差块后插入一个FC可以获得最佳的图像质量和多样性表现。综上所述,仅使用一组生成器/对抗器,WordGAN能根据单个文本描述生成高质量和多样性的图像。
表
3
FC对图像多样性的有效性结果比较
Tab.
3
Effectiveness comparison of the FC on image diversity
DF-GAN、DTGAN、DF-GAN+FC(2)、DTGAN+FC(2)、F5、F6(F5+CA)、F7(F5+MS)、F8(F5+FC(1))、F9(F5+FC(1+1))和F10(WordGAN)之间的定性比较结果如图9所示。DF-GAN+FC(2)和DTGAN+FC(2)分别指的是在第2个残差块后插入FC的DF-GAN和DTGAN。
图
9
WordGAN与其他框架的定性比较结果
Fig.
9
Qualitative compared results of WordGAN and other frameworks
由图9可以看出,尽管DF-GAN(第1行)和DTGAN(第2行)在图像质量上表现良好,但生成的鸟的形状相似,背景颜色也相同。然而,在将FC插入到框架之后,DF-GAN+FC(2)(第3行)和DTGAN+FC(2)(第4行)均生成了多样化的鸟图像(例如,具有不同的形状、方向甚至背景颜色),比原有框架具有更广泛的应用性,证明所提框架的泛化能力。DF-GAN+FC(2)背景相似的原因可能是调制模块的引入,DF-GAN中的背景颜色仅取决于文本描述。将WordGAN(第10行)与F6(F5+CA)和F7(F5+MS)进行比较可以看出,FC有助于生成具有生动细节的多样化鸟图像,而CA并不能提高鸟图像的多样性,MS可能会影响图像质量。例如在第10行,鸟位于树枝或地面上,鸟的方向、背景颜色以及脚的视觉外观均不同。然而,第6行的鸟图像仍然具有相似的形状和相同的背景颜色,第7行的鸟图像有些模糊。与F5对比可以发现,F8(F5+FC(1))、F9(F5+FC(1+1))和WordGAN均能生成多样化的图像,进一步证实了FC在提升图像多样性方面的有效性。此外,WordGAN生成的鸟图像比F6和F7的质量更高,也验证了WordGAN的优越性。
为验证WordGAN的敏感性,通过修改给定文本描述中的一个词来生成鸟图像。生成图像如图10所示。由图10可以看出,当改变自然语言描述中的颜色属性时,WordGAN根据修改后的文本进一步生成语义一致的鸟图像,同时保留与未修改部分相关的视觉内容(如形状、位置和纹理)。此外,通过改变潜在向量,WordGAN生成了具有不同脚、背景颜色、方向和形状的鸟。因此,通过词级注意力模块和插入FC方法,WordGAN能够有效地解耦输入文本描述的属性,准确地控制图像的区域,同时不会损害图像多样性。
图
10
WordGAN通过改变颜色属性和随机潜在向量生成的图像
Fig.
10
Generated samples of WordGAN by changing the color attribute and the random latent codes
为了更好地理解WordGAN如何利用潜在向量实现多样性,在两个随机潜在向量之间进行线性插值,并生成相应的图像。WordGAN在CUB bird数据集上的插值结果如图11所示。由图11可以看出,脚和图像背景(第1、4行)、鸟的形状和位置(第2行)、鸟的方向和形状以及脚(第3行)均随着潜在向量的变化而逐渐改变。
图
11
WordGAN两个随机潜在向量线性插值结果
Fig.
11
Linear interpolation results between two random latent vectors in WordGAN
WordGAN在MSCOCO数据集上的插值结果如图12所示。由图12可以看出,建筑外观(第1行)、海滩(第2行)、人物(第2、3行)、波浪(第3行)、草地和动物(第4行)均随着潜在向量的变化而连续变化,以上结果显示了前景对象和图像背景的平滑过渡。更重要的是,在进行潜在向量线性插值时,当基于第1个和最后1个潜在向量得到的图像是高质量的,WordGAN很可能会产生一系列高质量的图像。
图
12
WordGAN在MSCOCO数据集上两个随机潜在向量线性插值结果
Fig.
12
Linear interpolation results between two random latent vectors of WordGAN on the MSCOCO dataset
4 结论
1)设计了一个基于词级注意力的多样化文本到图像生成对抗网络框架(WordGAN),该框架通过一组生成器/对抗器能够根据文本描述生成语义一致且高质量的多样化图像。
2)提出了两种新的词级注意力模块:通道注意力模块和像素注意力模块。两种模块通过引导生成器关注文本描述中的关键语义信息,有效提升了生成图像的语义一致性。
3)在网络框架中引入全连接层来增强特征表达能力,该设计有效解决了单阶段框架普遍存在的生成图像多样性不足的问题。通过优化特征空间的分布,使模型能够生成更具多样性的图像。
4)在多个标准数据集上进行实验,结果表明,WordGAN在图像质量和多样性方面均优于当前框架。尤为突出的是,WordGAN有效解决了传统文本到图像生成框架中的缺陷,为开发新一代文本到图像生成框架提供了重要理论支撑和实践依据。

