摘要:为解决多阶段语音到图像生成过程中生成器缺乏对图像进行集成和细化的过程,框架训练多个对抗器网络而增加复杂性、训练成本等问题,提出一种单阶段语音到图像生成对抗网络(single-stage speech-to-image generative adversarial network,Single-S2IGAN)框架。该框架在条件生成对抗网络基础上,引入视觉-语音融合模块(visual speech fusion module,VSFM),VSFM由批归一化(batch normalization,BN)、像素注意力模块(pixel-attention module,MPA)、语音调制模块(speech modulation module,MSM)和加权融合模块(weighted fusion module,MWF)组成。其中,BN用于稳定网络训练;MPA对空间像素区域间的语义关联进行建模,并为关键位置分配更高的权重;MSM利用语音向量中的细粒度语言线索调制视觉特征映射;MWF以自适应的方式捕捉MPA和MSM在通道级别的语义重要性。在CUB bird、Oxford-102、Flickr8k和Places-subset 4个基准数据集上进行一系列实验,结果表明:Single-S2IGAN能够生成高分辨率且与输入语音描述语义一致的图像;与现有其他单阶段框架和多阶段框架方法相比,Single-S2IGAN表现出更好的性能,且其性能水平接近文本到图像生成的方法。本文所提Single-S2IGAN框架为语音到图像生成任务研究提供了新的思路。