摘要
为解决多阶段语音到图像生成过程中生成器缺乏对图像进行集成和细化的过程,框架训练多个对抗器网络而增加复杂性、训练成本等问题,提出一种单阶段语音到图像生成对抗网络(single-stage speech-to-image generative adversarial network,Single-S2IGAN)框架。该框架在条件生成对抗网络基础上,引入视觉-语音融合模块(visual speech fusion module,VSFM),VSFM由批归一化(batch normalization,BN)、像素注意力模块(pixel-attention module,MPA)、语音调制模块(speech modulation module,MSM)和加权融合模块(weighted fusion module,MWF)组成。其中,BN用于稳定网络训练;MPA对空间像素区域间的语义关联进行建模,并为关键位置分配更高的权重;MSM利用语音向量中的细粒度语言线索调制视觉特征映射;MWF以自适应的方式捕捉MPA和MSM在通道级别的语义重要性。在CUB bird、Oxford-102、Flickr8k和Places-subset 4个基准数据集上进行一系列实验,结果表明:Single-S2IGAN能够生成高分辨率且与输入语音描述语义一致的图像;与现有其他单阶段框架和多阶段框架方法相比,Single-S2IGAN表现出更好的性能,且其性能水平接近文本到图像生成的方法。本文所提Single-S2IGAN框架为语音到图像生成任务研究提供了新的思路。
Abstract
To address the challenges in multi-stage speech-to-image generation process, such as the generator's lack of integration and refinement of images, as well as the increased complexity and training costs associated with training multiple adversarial networks, we propose a single-stage speech-to-image generative adversarial network framework (Single-S2IGAN). This framework builds upon conditional generative adversarial networks by introducing a visual speech fusion module (VSFM), which consists of batch normalization (BN), a pixel-attention module (MPA), a speech modulation module (MSM), and a weighted fusion module (MWF). BN is used to stabilize the training of the network; MPA models the semantic relationships between spatial pixel regions and assigns higher weights to key positions. MSM modulates visual feature maps using fine-grained linguistic cues from the speech vector; and MWF adaptively captures the semantic importance of MPA and MSM at the channel level. A series of experiments were conducted on four benchmark datasets: CUB bird, Oxford-102, Flickr8k, and Places-subset. The results indicate that Single-S2IGAN can generate high-resolution images that are semantically consistent with the input speech descriptions. Compared to both single-stage and multi-stage frameworks, Single-S2IGAN demonstrates superior performance, with levels of effectiveness approaching those of text-to-image generation methods. The proposed Single-S2IGAN framework offers a new perspective for research into speech-to-image generation tasks.
语音描述能够借助语言和情感信息准确地描述图像的内容,语音到图像生成任务旨在根据给定的语音信号自动生成既逼真又语义相符的图像。近年来,因其巨大的应用前景,在跨学科领域中引起了广泛关注。针对语音到图像生成任务,Li等[1]提出了一种多阶段语音到图像生成对抗网络(generative adversarial network,GAN)方法,以生成与输入语音描述语义相关的逼真图像。为更好地捕捉语言信息,引入一个预训练的图像编码器作为“教师”,用以指导语音编码器的训练。Wang等[2]设计了一个新的语音嵌入网络,用于获取语音特征向量。此外,他们还开发了一个基于关系监督的多阶段生成模型,以产生高质量的图像。然而,语音到图像生成是一项极具挑战性的跨模态任务。与文本描述相比,语音信号具有连续性而非离散性,缺乏文本中单词间规则的间隔,即空格。这一特性使得模型在尝试学习对应的语义表示时,难以捕获描述图像内容的语音信息。
当前的语音到图像GAN模型采用多阶段框架(见图1(a)),通过多个生成器(G0~G2)和对抗器(D0~D2)生成视觉合理的样本。尽管这种框架在语音到图像生成任务中取得了令人满意的结果,但仍存在3个关键问题:1)与单阶段框架相比,训练多个网络会增加计算时间,并可能影响生成模型的收敛性和稳定性[3]。更糟糕的是,如果前面的生成器未能收敛到全局最优解,那么后续的生成器网络可能难以得到进一步提升[4]。2)该框架忽视了早期生成器生成图像的质量。初期的生成器网络主要由上采样层和卷积层构成,没有利用自然语言描述对图像进行集成和细化[4-5]。3)该框架需要训练多个对抗器网络,增加了模型的复杂性和训练成本。
基于此,本文提出了单阶段语音到图像生成对抗网络(single-stage speech-to-image generative adversarial network,Single-S2IGAN)框架,如图1(b)所示。该框架仅有单组生成器(G)和对抗器(D),利用预训练语音编码器提取语音嵌入作为输入特征。在生成器中融入了视觉-语音融合模块(visual speech fusion module,VSFM)和双残差层(B0~B6),以有效地将语音特征融入生成器网络,确保生成图像与给定语音信号语义相符,进而提升生成样本的质量。最后,在多种数据集上进行仿真测试,以验证该框架的性能。
图
1
多阶段框架与所提出的单阶段框架比较
Fig.
1
Comparison between multi-stage framework and proposed single-stage framework
1 条件生成对抗网络
作为GAN的一种扩展,条件生成对抗网络(conditional generative adversarial network,cGAN)以条件上下文c(如类别标签、文本描述和低分辨率图像等)和随机向量z作为生成器G的输入,并输出与条件c语义相关的图像。同时,对抗器D负责区分真实图像-上下文对(x,c)和生成图像-上下文对(G(z,c),c)。cGAN的目标函数V(G,D)为
(1)
式中:pdata(x)和pz(z)分别为真实数据x的分布和随机潜在向量z的分布,pc(c)为c的分布,为真实数据分布期望值,为合成数据分布期望值。
在语音到图像生成任务中,c是给定的语音描述。假设{(Ii,Ci)}\begin{equation}_{i=1}^{n}\end{equation}表示用于训练的由n个图像-语音对组成的集合,其中Ii代表一张图像,Ci=(c\begin{equation}_{i}^{1}\end{equation},c\begin{equation}_{i}^{2}\end{equation},···,c\begin{equation}_{i}^{k}\end{equation})包含k个语音描述。生成器G的目标是根据从Ci中随机选择的语音描述ci,生成一个视觉逼真且语义一致的图像。同时,训练对抗器D以区分真实的图像-语音对(,ci)和生成的图像-语音对(Îi,ci)。
2 Single-S2IGAN
Single-S2IGAN的整体框架如图2所示,该框架仅包括一个生成器和一个对抗器。本节分为4部分,分别详述Single-S2IGAN框架中的生成器(图2(a))、对抗器(图2(b))、视觉融合模块(图2(c)和图2(d))以及损失函数。
2.1 生成器
生成器能够将语音信号映射为逼真且语义一致的图像,框架如图2(a)所示。其中,全连接层将潜在向量转换为初始特征图,双残差视觉-语音融合模块利用语音向量调制视觉特征图。语音编码器用于学习给定语音描述的语义表示和概念意义,以捕获重要的视觉细节描述。双残差视觉-语音融合模块(图2(c))包含两个有效的VSFM(图2(d))以及一系列ReLU激活函数和卷积层。
图
2
Single-S2IGAN的整体框架
Fig.
2
Overall framework of Single-S2IGAN
VSFM包括批归一化(batch normalization,BN),像素注意力模块(pixel-attention module,MPA),语音调制模块(speech modulation module,MSM)和加权融合模块(weighted fusion module,MWF)。双残差视觉-语音融合模块允许通过有效增加网络层数来增强模型容量,同时通过保留比串联结构更多的原始特征稳定训练过程。借助双残差视觉-语音融合模块,生成器网络能够产生高质量的图像。语音信号生成图像的过程为:
(2)
(3)
(4)
(5)
式中:F0为全连接层,s为由语音编码器获得的语音向量,为提出的双残差视觉+语音融合模块,h0~h7为特征映射图,Lf为最后一个卷积层,Io为最终生成的图像。
2.2 对抗器
对抗器网络包括图像编码器、预训练语音编码器和一个条件对抗器网络,见图2(b)。对抗器中超参数的选择基于文献[4],但文本特征为语音向量。具体来说,图像编码器由一个卷积层(步长为1,内核大小为3,填充为1)及6个自适应连续残差块组成。每个块包含两个卷积层,其中第1层步长为2,内核大小为4,填充为1,用于将输入特征图的维度减少到一半;第2层步长为1,内核大小为3,填充为1,目的是进一步提炼图像特征。在每个卷积层之后,采用斜率为0.2的ReLU激活函数帮助训练网络。残差块的通道数量分别为64、128、256、512、1 024、1 024。为了稳定学习,在每个块中引入一个残差连接。在训练过程中,将图像输入到图像编码器以提取图像特征(1 024,4,4),然后将这些特征与语音向量结合作为联合嵌入,维度为(2 048,4,4)。最后,将联合特征通过条件对抗器,获得最终的条件分数,用于确定输入的图像-语音描述真伪。
2.3 视觉-语音融合模块(VSFM)
在图像生成过程中,图像的视觉内容与相应的条件上下文(如类别标签和文本描述等)之间的语义关系具有重要的作用。然而,对于语音到图像生成来说,语音信号时间长且连续,缺少词汇边界,即自然语言描述中的空格。因此,建模语音描述的语言内容与图像内容之间的关联性非常困难。此外,由于语音信号的连续性,单词级调制模块无法将语音信息和视觉特征图融合在一起。在这种情况下,研究如何有效地将语音描述中的信息注入到以二维彩色图像为输出的神经网络中十分重要。
因此,设计了VSFM,将输入的语音信号转换为类似于句子嵌入的全局语音向量,使用语音特征来调制网络中的视觉特征图,进而生成高分辨率图像。
2.3.1 整体框架
VSFM的框架如图2(d)所示。以给定中间特征图F∈RC×H×W和语音编码器获得的语音向量s作为输入,VSFM的过程包括3个步骤:1)在F上应用批归一化,得到新的特征图F′∈RC×H×W。这有助于稳定条件生成对抗网络的学习过程,并加快训练速度。2)分别使用MPA和MSM强化F′∈RC×H×W。3)VSFM通过MWF,有效地融合注意力模块的输出MPA(F′)∈RC×H×W和语音调制模块的输出MSM(F′,s)∈RC×H×W。同时,采用残差连接获得最终的结果F″∈RC×H×W。
值得注意的是,Single-S2IGAN将VSFM的双模态信息应用于生成器网络的所有层中,允许语音影响框架各个分层级别上的特征(从早期的粗糙特征到后期的抽象特征),以提升生成图像的质量。VSFM的整体过程数学表达式为
(6)
(7)
2.3.2 像素注意力模块(MPA)
图像是由视觉像素组成的,像素对图像质量有着重要的影响。学习图像中不同位置之间的上下文关系对于生成高质量的样本至关重要。然而,卷积操作只能捕捉空间上下文之间的局部关系,无法“看到”整个图像场景。因此,引入MPA,用于建模视觉像素之间的空间关联,并获取空间注意力图以微调特征图,引导生成器关注图像的关键区域。
MPA处理流程见图3。首先,将特征图F′∈RC×H×W输入到一个3×3的卷积层中,并经过批归一化和ReLU函数处理,将通道维度减少至RC/r×H×W。这可以整合并加强通道和空间方向上的视觉特征图。随后,使用一个1×1的卷积层和Sigmoid函数处理特征图,得到像素注意力图PK∈R1×H×W。数学表达式为
(8)
式中:σ(·)为Sigmoid函数,\begin{equation}f_{1}^{1×1}\end{equation}、\begin{equation}f_{0}^{3×3}\end{equation}分别为1×1、3×3卷积层,R(·)为ReLU函数。
图
3
像素注意力模块示意
Fig.
3
Schematic of pixel-attention module
对特征图F′∈RC×H×W和像素注意力图PK∈R1×H×W进行矩阵相乘,以获得最终的结果。数学表达式为
(9)
2.3.3 语音调制模块(MSM)
针对语音到图像生成任务,需要开发一种新的并且有效的调制方法,以确保生成图像的语义一致性和质量[3]。为此,引入MSM。MSM能控制视觉特征图的形状和纹理变化,缩小视觉与语音间的语义鸿沟,利用从语音嵌入中提取的详细语言线索来调整和变换视觉特征图。具体来说,采用两个全连接层将s转换为语言线索WK∈RC×1×1和BK∈RC×1×1,再用WK和BK缩放和平移特征图F′。MSM的过程定义为
(10)
(11)
(12)
式中:F0为全连接层,MSM(F′)为MSM的输出特征图。
2.3.4 加权融合模块(MWF)
由于像素和语音信号属于两种不同的模态,简单地使用加法或逐元素乘法融合MPA和MSM的输出很难起作用,所以需要开发一种更好的方式进行组合。因此提出MWF,从通道角度学习MPA和MSM的语义重要性,以自适应的方式强调重要的图像区域,从而进一步提升生成图像的分辨率。
MWF的详细结构如图4所示。首先,使用逐元素加法处理MPA和MSM的输出MPA(F′)和MSM(F′,s),得到中间特征图IF∈RC×H×W。采用全局平均池化(global average pooling,PGA)处理IF,以获得整体和重要的信息,从而获得通道特征向量I′F∈RC×1×1。随后,将I′F输入到两个全连接层中,第1个用于压缩和整合通道特征,第2个用于恢复通道维度,并在通道级别捕获图像注意力和语音调制模块的语义重要性。最后,在通道维度应用Softmax函数,得到上下文感知的通道权重矩阵WF∈RC×2。将WF分成两个独立的权重矩阵WF1∈RC×1和WF2∈RC×1。数学表达式为
(13)
(14)
(15)
(16)
式中:Som(·)为Softmax函数,GL为高斯误差线性单元。
将WF1和WF2维度调整为RC×1×1,并应用于MPA(F′)和MSM(F′,s)以获得最终的融合结果。数学表达式为
(17)
图
4
加权融合模块结构
Fig.
4
Structure of weighted fusion module
2.4 损失函数
对抗损失函数用于确保生成的样本与输入的语音信号语义一致。受文献[6]启发,Single-S2IGAN利用铰链损失函数稳定网络的训练过程。对抗器的对抗损失函数定义为
(18)
式中:为不匹配的语音描述,为从分布pG采样的生成样本。
采用匹配感知零中心梯度惩罚损失函数[6]训练对抗器,匹配感知零中心梯度惩罚损失函数对真实图像和输入的语音描述应用梯度惩罚,以提高生成图像的质量和语义一致性。匹配感知零中心梯度惩罚损失函数的数学表达式为
(19)
式中:分别为对抗器D对x、s的梯度值,‖·‖2为欧几里得范数,p为指数系数。
对于生成器,应用对抗损失和深度注意力多模态相似性模型损失训练网络。
3 仿真实验与结果分析
为验证Single-S2IGAN的性能,全面评估其有效性,设计了仿真实验,并对结果进行了定量和定性分析。首先,介绍实验设置,包括实验所需的数据集、实验参数细节和评价指标。然后,将本文方法与其他几种基于cGAN的文本到图像生成和语音到图像生成方法在4个数据集上进行指标对比。
3.1 实验设置
3.1.1 数据集
选用4个广泛应用于测试语音到图像生成方法的数据集[1-2],即两个生成语音-图像数据集CUB bird[7]、Oxford-102[8]以及两个真实语音-图像数据集Flickr8k[9]、Places-subset[10]。
CUB bird数据集包括11 788张图像,分为8 855张训练图像和2 933张测试图像。每张图像都具有10个自然语言描述。为了评估语音到图像生成任务,S2IGAN[2]利用文本转语音方法将文本转换为语音描述,以构建生成语音-图像数据集。
Oxford-102数据集由8 189张图像组成,其中5 878张属于训练集,另外2 311张属于测试集。每张图像包含10个文本描述,文本转语音方法将这些文本转换为语音信号。
Flickr8k数据集是一个更具挑战性的数据集,包括8 000张场景图像,每张图像配有5个真实语音描述。
Places-subset数据集具有13 803个真实语音-图像对,涵盖了7个类别,分为10 933个训练数据对和2 870个测试数据对。
3.1.2 实验参数细节
实验平台选用NVIDIA Tesla V100 GPU显卡,内存为32 GB,操作系统为Ubuntu;所有方法均基于PyTorch深度学习框架实现;语音编码器使用两个1-D卷积块、两个双向门控循环单元和1个自注意力模块以获得语音嵌入,语音向量的维度为1 024;选用Adam优化器训练网络,控制一阶矩和二阶矩估计的指数衰减率β1和β2分别设为0和0.9;遵循两时间尺度更新规则[11-12],将生成器和对抗器的学习率分别设为0.000 1和0.000 4;批次大小设为32。
3.1.3 评价指标
采用以下4种评价指标进行性能评估:感知分数(IS)[13]、Fréchet感知距离(FID)[14]、平均精度均值(mAP)和召回率@50[2](R@50)。前两个指标用于评估多样性和图像质量,后两个用于衡量生成样本与其语音描述之间的语义相关性。其中,IS、mAP和R@50指标越高,表示方法的性能越好,而FID指标则相反。
3.2 生成语音-图像数据性能分析
3.2.1 定量分析
为了更加客观地展示Single-S2IGAN的有效性,在CUB bird和Oxford-102数据集上,将Single-S2IGAN与单阶段[3-4,6]和多阶段[1-2,5,12,15-18]基于cGAN的文本到图像生成和语音到图像生成方法进行比较,结果详见表1。由表1可以看出:与最优的语音到图像生成框架相比,在CUB bird数据集上,Single-S2IGAN将IS均值提高了0.77,FID降低了1.41,mAP提高了3.08;在Oxford-102数据集上,Single-S2IGAN将IS均值提高了0.12,FID降低了8.56,mAP提高了4.32。在CUB bird数据集上,与DM-GAN[5]实现文本到图像生成方法相比,Single-S2IGAN将IS均值提高了0.31;在Oxford-102数据集上,与DTGAN[4]文本到图像生成方法相比,Single-S2IGAN将IS均值提高了0.04。说明Single-S2IGAN能够产生感知上合理且质量更高、多样性更好的图像,优于最好的语音到图像生成和许多文本到图像生成方法。同时,Single-S2IGAN达到了与文本到图像生成方法相近的性能。
表
1
文本与语音到图像生成方法的IS、FID、mAP对比
Tab.
1
Comparison of IS, FID, and mAP for text and speech-to-image generation methods
3.2.2 定性分析
为了更加直观地展示Single-S2IGAN的有效性,在CUB bird和Oxford-102数据集上进行定性比较,结果如图5所示。图5(a)、图5(b)中第1行均为语音对应的文本描述,第2行分别为AttnGAN[12]和DTGAN[4]基于文本描述生成的图像,第3~4行分别为S2IGAN[2]、Single-S2IGAN基于语音描述生成的图像。
由图5(a)可以看出:AttnGAN和S2IGAN生成的鸟形状奇怪(第2、3、6和8列),图像细节丢失(第2、3、5~7列),背景模糊(第1、3、6和8列)。与AttnGAN和S2IGAN相比,Single-S2IGAN生成的鸟具有更清晰的形状和更丰富的色彩分布(第2、3、6~8列),在视觉上(第1、2、4、6和8列)更真实,并具有更生动的细节。因此,相比于AttnGAN和S2IGAN,Single-S2IGAN能够生成更清晰、更逼真的图像。
由图5(b)可以看出:在第1、2、6~8列中,Single-S2IGAN生成了比DTGAN和S2IGAN在视觉上更逼真、形状更生动的花朵;在第3~6列中,Single-S2IGAN生成的花朵具有更清晰的细节和更丰富的色彩分布。说明Single-S2IGAN能够仅用单组生成器/对抗器生成与给定语音描述相符的高分辨率图像。
图
5
Single-S2IGAN与其他方法在CUB bird和Oxford-102数据集上的可视化结果
Fig.
5
Visual results of Single-S2IGAN compared to other methods on CUB bird and Oxford-102 datasets
上述实验结果表明,借助双重残差视觉+语音融合模块,Single-S2IGAN能够有效地将语音信息注入生成器网络并生成高质量图像。
为了验证Single-S2IGAN的效率,使用该方法生成了1 000张图像,平均用时128 s,说明Single-S2IGAN能够实时基于语音产生图像。为了进一步降低方法参数量,后期可以使用迁移学习的方法,使用预训练的Single-S2IGAN框架监督训练另一个由简单神经网络构成的生成器。
3.2.3 人类评估
为了评估StackGAN++、S2IGAN和Single-S2IGAN的图像质量和语义一致性,在CUB bird和Oxford-102数据集上进行人类测试。具体而言,从每个数据集中随机选取100张图像,然后向测试人员提供相同的语音描述,并要求其根据图像内容和相应的语音描述选择最佳的生成样本。为了确保公平性,最终得分以两位评委的计算为准。测试结果如图6所示。由图6可以看出,Single-S2IGAN在CUB bird数据集上最佳生成样优于S2IGAN 11%左右,在Oxford-102数据集上最佳生成样优于S2IGAN 6%左右,表明Single-S2IGAN生成图像的质量更高,且与语义的一致性更好。
3.3 真实语音-图像数据性能分析
除了对生成语音-图像数据性能分析以外,本文还在更具挑战性的真实语音数据集上,即Flickr8k和Places-subset数据集上,对Single-S2IGAN进行了定量和定性评估。
图
6
StackGAN++,S2IGAN和Single-S2IGAN的最佳生成样本比例
Fig.
6
Optimal generation sample ratios for StackGAN++, S2IGAN, and Single-S2IGAN
3.3.1 定量分析
Single-S2IGAN与其他方法在Flickr8k和Places-subset数据集上的IS、FID和R@50对比结果见表2。由表2可以看出:在Flickr8k数据集上,与S2IGAN[2]相比,Single-S2IGAN将IS均值提高了2.98,FID降低了22.49,R@50提高了18.55;与AttnGAN[12]相比,Single-S2IGAN将FID降低了13.28。在Places-subset数据集上,与S2IGAN[2]相比,Single-S2IGAN将IS均值提高了1.01,FID降低了16.41,R@50提高了15.42;与AttnGAN[12]相比,Single-S2IGAN将FID降低了9.91,同时将IS均值提高了0.46。说明Single-S2IGAN的性能优于其他方法,且生成的样本分布更接近真实数据分布。
表
2
文本与语音到图像生成方法的IS、FID和R@50对比
Tab.
2
Comparison of IS, FID, and R@50 for text and speech-to-image generation methods
3.3.2 定性分析
Single-S2IGAN和S2IGAN在Flickr8k和Places-subset数据集上生成的图像以及对应的真实图像如图7所示。图7中第1行是语音对应的文本描述,第2行是数据集中的真实图像,第3~4行分别是S2IGAN[2]、Single-S2IGAN基于语音描述生成的图像。由图7(a)可以看出:当提供语音信号时,在生成复杂场景方面,S2IGAN产生的对象不清晰(第1、2、4~6和8列)且背景模糊(第4和7列);与S2IGAN相比,Single-S2IGAN生成的对象在背景上更清晰,视觉上更合理,细节上更生动逼真,而且生成的目标数量正确(第1~3、5~8列)。
由图7(b)可以看出:尽管Places-subset数据集非常具有挑战性,但Single-S2IGAN生成了令人期待且高质量的复杂场景图像,即逼真的卧室(第1列)、合理的厨房(第2和8列)、高质量的客厅(第3和5列)、视觉上令人期待的餐厅(第4和7列)以及逼真的酒店客房(第6列)。然而,S2IGAN生成的一些例子(第1、4、6~8列)是不合理的,如床的形状不清晰(第1和6列)、色彩分布粗糙(第4和8列)。
图
7
Single-S2IGAN与S2IGAN在Flickr8k和Places-subset数据集上的可视化结果
Fig.
7
Visual results of Single-S2IGAN and S2IGAN on Flickr8k and Places-subset datasets
以上分析表明,借助有效的视觉-语音融合模块和损失函数,Single-S2IGAN能够在真实语音数据集上取得非常好的结果。
3.3.3 人类评估
为了进一步评估StackGAN++、S2IGAN和Single-S2IGAN的图像质量和语义一致性,在Flickr8k和Places-subset数据集上进行了人类测试,测试结果如图8所示。由图8可以看出,在Flickr8k数据集上,Single-S2IGAN优于S2IGAN 25%左右;在Places-subset数据集上,优于S2IGAN 18%左右,体现出了Single-S2IGAN在真实语音-图像生成方面的优越性。
图
8
StackGAN++,S2IGAN和Single-S2IGAN的最佳生成样本比例
Fig.
8
Optimal generation sample ratios for StackGAN++, S2IGAN, and Single-S2IGAN
4 结论
1)提出了一种新的单阶段语音到图像生成对抗网络(Single-S2IGAN)框架,该框架通过一组生成器/对抗器,能够根据语音描述生成高分辨率且语义一致的图像,实现了语音到图像生成的高效性。
2)设计一种视觉-语音融合模块(VSFM),该模块由批归一化、像素注意力模块、语音调制模块和加权融合模块组成。VSFM利用语音信息调制视觉特征图,显著提升了生成样本的分辨率,进而增强了图像的视觉表现。
3)提出将双模态信息应用于生成器网络的所有层,使得语音特征能够影响框架中各个层次的特征表达,极大地提高了生成图像的质量和语义一致性。
4)相较于当前的多阶段语音到图像生成方法,Single-S2IGAN展现出了显著的优势,且其性能接近文本到图像生成方法。更重要的是,Single-S2IGAN克服了现有多阶段语音到图像方法中存在的问题,为构建更先进的语音到图像生成模型奠定了基础。

