Occluded face inpainting network fusing edges and key points

doi:10.11918/202304033

融合边缘和关键点的遮挡人脸修复网络

doi: 10.11918/202304033

王富平^1,2 ，段冠庄¹ ，李藕^1,2 ，公衍超^1,2 ，刘卫华^1,2 ，刘颖^1,2

1. 西安邮电大学通信与信息工程学院，西安 710121

2. 电子信息现场勘验应用技术公安部重点实验室（西安邮电大学），西安 710121

基金项目: 公安部科技强警基础工作专项项目(2020GABJC42) ；国家自然科学基金青年项目(61802305)

详细信息

作者简介

王富平(1987—)，男，博士，讲师；

段冠庄(1999—)，男，硕士研究生

通讯作者

王富平，wfp1608@163.com

中图分类号: TP391.4

文献标识码: A

文章编号: 0367-6234(2026)03-0190-07

Occluded face inpainting network fusing edges and key points

WANG Fuping^1,2 ， DUAN Guanzhuang¹ ， LI Ou^1,2 ， GONG Yanchao^1,2 ， LIU Weihua^1,2 ， LIU Ying^1,2

1. School of Communications and Information Engineering, Xi’an University of Posts & Telecommunications, Xi’an 710121 , China

2. Key Laboratory of Applied Technology for Electronic Information On-Site Investigation, Ministry of Public Security (Xi’an University of Posts & Telecommunications), Xi’an 710121 , China

摘要

人脸图像修复技术通过修复人脸被遮挡区域以生成完整的人脸图像，其在刑事侦查、安全防护等领域具有重要的应用价值，但现有方法的修复结果常常会出现纹理模糊、人脸结构扭曲等伪影问题。为此，在生成对抗网络框架的基础上，提出了一种融合边缘和关键点的遮挡人脸修复网络。首先，利用结构森林边缘修复网络来补全遮挡人脸图像的结构森林边缘图，以获得更精细的人脸细节描述信息；其次，利用关键点预测网络对遮挡人脸的68个关键点进行定位，以获得人脸图像的拓扑结构信息；最后，将上述两个网络输出的结构森林边缘图和人脸关键点作为先验信息，通过人脸图像修复网络对遮挡人脸区域进行修复并生成完整人脸图像。在CelebA-HQ数据集上的实验结果表明：所提算法修复的人脸图像纹理细节更精细、人脸拓扑结构更合理；在不同遮挡比例下，所提算法的PSNR和SSIM均高于对比算法；在掩码占比为50%时，与GatedConv、EdgeConnect、 LaFIn算法相比, 所提算法的PSNR分别提升了36.8%、 25.8%、 29.3%, 而SSIM分别提升了19.5%、12.2%、12.2%。

关键词

人脸图像修复 / 生成对抗网络 / 门卷积 / 结构森林边缘 / 人脸关键点

Abstract

The face image inpainting technology can generate a complete face image by repairing the occluded area of the face, which has important application value in fields such as criminal investigation and security protection. However, the inpainting results of the existing methods often exhibit artifacts such as fuzzy texture and distorted face structure. Therefore, based on the generative adversarial network (GAN) framework, this paper proposed an occluded face restoration network fusing edges and key points. Firstly, the proposed network used the structural forest edge restoration network to complete the structural forest edge map occluding the face image to obtain more description information of the face details. Then, it used the key point prediction network to locate 68 key points of the occluded face to obtain the topological structure information of the face image. Finally, it took the structural forest edge map and the key points of face obtained by the above two networks as prior information, restored the occluded face area by the face image inpainting network, and generated a complete face image. The experimental results on the CelebA-HQ dataset show that the face images restored by the proposed algorithm have finer texture details and more reasonable topological structures of faces. Under different occluded areas, the PSNR and SSIM of the proposed algorithm are higher than those of the comparison algorithm. Compared with that of GatedConv, EdgeConnect, and LaFIn algorithms, when the mask ratio is 50%, the PSNR of the proposed algorithm increases by 36.8%, 25.8%, and 29.3%, respectively, while the SSIM increases by 19.5%, 12.2%, and 12.2%.

Keywords

face image inpainting / generative adversarial network / gated convolution / structural forest edge / key points of face

1 相关工作 1.1 生成对抗网络 1.2 结构森林边缘 2 网络构建 2.1 模型整体设计 2.2 结构森林边缘修复网络 2.3 关键点预测网络 2.4 人脸图像修复网络 2.5 损失函数 3 实验与结果分析 3.1 实验环境和模型参数设置 3.2 定性分析 3.3 定量分析 3.4 消融实验 4 结语

人脸图像修复技术在公安刑侦和公共安全领域具有重要的应用价值，是目前人脸图像处理的研究热点，其目标是通过修复人脸图像中被遮挡区域的内容，使观察者无法察觉出图像曾经受损或缺失^[1]。

近年来，基于卷积神经网络和生成对抗网络的人脸图像修复技术快速发展^[2-3]。MO等^[4]利用人脸图像中隐含的相关性引导遮挡人脸图像修复，但修复结果对人脸数据库的依赖性很强; Jampour等^[5]通过遮挡人脸图像推断肤色、性别、种族等人脸属性，并利用属性一致性进行人脸图像修复; Zhang等^[6]基于修复人脸和原始人脸的特征相似度学习，提出DeMeshNet人脸修复网络；Liao等^[7]提出基于语义知识和协同对抗学习的人脸图像修复算法；Wang等^[8]设计域嵌入网络，利用潜变量描述人脸面部特征并与纹理特征融合，以实现大面积遮挡人脸修复；Nazeri等^[9]首先通过边缘生成网络预测缺失区域的完整边缘，再利用该边缘引导图像修复网络对遮挡人脸图像进行修复，该方法重点关注纹理细节修复，但当遮挡区域面积过大时，难以准确生成遮挡区域的边缘信息，从而导致修复人脸的结构失真；Yang等^[10]提出基于关键点引导的人脸图像修复网络，该模型由关键点预测网络和图像修复网络组成，以人脸关键点作为先验信息引导修复，但对人脸纹理细节的修复效果不理想。

为此，针对现有方法存在细节丢失和语义不合理问题，本文提出融合边缘和关键点的遮挡人脸修复网络。该模型通过结构森林边缘修复网络和关键点预测网络，分别从遮挡人脸图像中预测完整边缘和人脸关键点，并以此作为先验信息引导人脸图像修复网络完成遮挡人脸修复任务。

1 相关工作

1.1 生成对抗网络

生成对抗网络（generative adversarial network，GAN）^[11]是目前人脸修复方法中广泛使用的基础网络，其核心思想源于博弈论^[12]，通过生成模型和判别模型之间的相互博弈使得两种模型性能同步提升。生成对抗网络的网络结构如图1所示。生成器G负责制作虚假样本，其输入是一组高斯分布的随机噪声z~P（z）；判别器D负责鉴别样本真伪，其输入是生成器生成的数据G（z）和真实样本数据x~P_data。

图1生成对抗网络结构图

Fig.1Structure of generative adversarial network

在GAN的训练过程中，判别器D通过比较真实样本和生成样本的差异优化网络参数，从而提升判别能力。生成器G根据判别器D的反馈优化参数，生成更接近真实样本的虚假样本。最终，生成器G和判别器D在互相博弈中达到纳什均衡^[13]。

GAN中，生成器和判别器均以最小化损失函数为目标：生成器优化的目的是生成更接近真实样本的虚假样本，判别器优化的目的是能够准确分辨真实样本和生成样本。GAN通过损失函数V（D，G）同时训练生成器G和判别器D，V（D，G）表示为

\begin{matrix} \underset{G}{m i n} \underset{D}{m a x} V (D, G) = E_{x \sim P_{data} (x)} [l o g D (x)] + \\ E_{z \sim P_{z} (z)} [l o g (1 - D (G (z)))] \end{matrix}

(1)

1.2 结构森林边缘

为提升修复后人脸图像细节完整性，在结构森林边缘修复模块中，以未遮挡人脸图像的结构森林边缘^[14]作为标签信息训练边缘修复网络，为后续人脸图像修复网络提供高质量的边缘引导信息。结构森林边缘在图像处理中应用广泛，能更合理地描述背景和图像细节边缘差异，且图像边缘信息更稳定。

传统的边缘检测方法将梯度变化最大的像素判定为边缘像素^[15]，但实际中，图像中大量边缘（如纹理边缘和轮廓）并不只对应于颜色或梯度的剧烈变化。结构森林边缘检测算法通过局部图像块训练多个结构森林边缘决策树，由多个决策树构成随机决策森林分类器以识别边缘像素。边缘检测时，通过滑窗方式将测试图像的局部图像块输入到已训练的决策树中，估计该像素为结构森林边缘的概率，最终得到整幅图像的结构森林边缘概率图。

图2Canny边缘和结构森林边缘对比图

Fig.2Comparison of Canny edge and structural forest edge

传统边缘和结构森林边缘的对比如图2所示。Canny算法检测到的边缘图为二值图，默认所有检测到的边缘像素具有同等重要性，但并非所有边缘像素都对应强梯度变化，而且Canny算法通过阈值操作删除人脸部分细节边缘，导致细节信息丢失。而结构森林边缘是概率边缘，表示像素为边缘像素的概率，能够更好地突出人脸结构的拓扑信息，如眼睛、鼻子、嘴巴等，以得到更真实的人脸轮廓图，并有效描述人脸的精细细节。

2 网络构建

2.1 模型整体设计

为实现理想的修复效果，本文构建融合边缘和关键点的遮挡人脸修复网络，由结构森林边缘修复网络、关键点预测网络和人脸图像修复网络三部分组成，如图3所示。结构森林边缘修复网络包含生成器G₁和判别器D₁，其中生成器G₁根据遮挡人脸图像边缘，预测符合真实人脸的完整结构森林边缘；关键点预测网络基于MobileNet-V2^[16]网络，定位遮挡人脸图像的68个关键点；最后，将修复后的人脸结构森林边缘和关键点作为先验信息，引导人脸图像修复网络完成修复。为了更高效提取遮挡人脸图像中的有用信息，在人脸图像修复网络中，使用门卷积代替传统GAN中的空洞卷积操作。

图3模型总体框架图

Fig.3Overall frame of model

2.2 结构森林边缘修复网络

该网络由生成器G₁和判别器D₁组成，如图4所示。将遮挡人脸灰度图、其结构森林边缘图及遮挡掩膜图输入生成器G₁，融合多源信息后生成遮挡区域的边缘纹理。生成器G₁由3个卷积层、3个反卷积层和8个残差块级联组成，卷积核大小依次是7×7、4×4和4×4；鉴别器D₁包含5个卷积层，卷积核大小均为4×4，均采用频谱归一化和激活函数LeakReLU。

模型训练过程中，通过交替训练判别器D₁和生成器G₁，实现对遮挡部分人脸边缘的修复。首先，更新判别器D₁，以未遮挡人脸的结构森林边缘为标签，与G₁生成的虚假样本进行比对，提升D₁鉴别能力；再更新生成器G₁，使其生成的边缘与真实人脸边缘达到最优相似^[17]，最终让修复后的人脸边缘更接近理想效果。

图4结构森林边缘修复网络结构图

Fig.4Structure of structural forest edge restoration network

2.3 关键点预测网络

人脸关键点作为稳定的局部特征，包含了丰富的人脸拓扑结构和姿态信息，建立人脸图像关键点预测模块能够有效提高修复质量。为了更精准地预测人脸关键点，本文提出基于MobileNet-V2的人脸关键点预测网络，该网络包含深度可分离卷积、反向残差等结构，如图5所示。

人脸关键点预测网络首先构建一个32×32的卷积层，并连接7个反向残差块以提取精细特征，然后通过1个点卷积编码特征。其中，反向残差块将“深度卷积→点卷积”的传统处理顺序调整为“点卷积→深度卷积”。最后，通过全连接层将处理后的特征图进行融合，并将关键点预测映射到样本图像中，输出遮挡人脸图像的预测关键点。

图5关键点预测网络结构图

Fig.5Structure of key point prediction network

2.4 人脸图像修复网络

人脸图像修复网络由生成器G₂和判别器D₂组成，如图6所示。生成器G₂的输入包括遮挡人脸图像、结构森林边缘修复网络生成的边缘图像以及关键点预测网络生成的人脸关键点图；判别器D₂以真实人脸关键点和真实人脸图像作为标签，对G₂修复的人脸进行判别，进而优化G₂性能，使修复的人脸图像逼近真实人脸图像。

图6人脸图像修复网络结构图

Fig.6Structure of face image inpainting network

为了减弱人脸遮挡部分对有效特征提取的干扰，使用门卷积替代传统GAN中的空洞卷积。门卷积能够自适应区分遮挡区域和非遮挡区域，降低遮挡区域对人脸图像特征提取的不利影响。

2.5 损失函数

本文模型的损失函数包含3个部分：结构森林边缘修复网络损失函数、关键点预测网络损失函数和人脸图像修复网络损失函数。

1）结构森林边缘修复网络损失函数

结构森林边缘修复网络的目的是修复遮挡人脸图像的结构森林边缘。设I_gt为真实人脸图像，其对应的结构森林边缘和人脸灰度图分别为S_gt和I_gray。遮挡人脸灰度图

{\tilde{I}}_{gray} = I_{gray} ⊙ （ 1 - M ）

，其结构森林边缘图则为

{\tilde{S}}_{g t} = S_{g t} ⊙ （ 1 - M ）

，其中⊙表示哈达玛积，人脸遮挡掩膜M由0和1组成，0代表非遮挡区域，1代表遮挡区域。经过生成器G₁修复的结构森林边缘可以表示为

S_{pred} = G_{1} ({\tilde{I}}_{gray}, {\tilde{S}}_{g t}, M)

(2)

为了更精准生成待修复区域的结构森林边缘，在GAN损失函数的基础上引入特征匹配损失L_FM。将S_gt和S_pred分别输入判别器D₁，并比较两者在D₁中间层激活映射的相似性，使生成器生成更接近真实人脸结构森林边缘的结果。L_FM定义为

L_{F M} = E_{(S_{g t}, S_{p r e d})} [\sum_{i = 1}^{L} \frac{1}{N_{i}} {‖D_{1}^{(i)} (S_{g t}) - D_{1}^{(i)} (S_{p r e d})‖}_{1}]

(3)

式中：L表示判别器的总层数；N_i表示第i层的元素个数；D^（ⁱ^）₁表示判别器第i层的激活函数。

结构森林边缘修复网络的损失函数表示为

\underset{G_{1}}{m i n} \underset{D_{1}}{m a x} L_{G_{1}} = \underset{G_{1}}{m i n} (λ_{a d v, 1} \underset{D_{1}}{m a x} (L_{a d v, 1}) + λ_{F M} L_{F M})

(4)

式中：λ_adv，1是对抗损失L_adv，1的权重系数；λ_FM是特征匹配损失L_FM的权重系数；L_adv，1定义为

\begin{matrix} L_{a d v, 1} = E_{(S_{g t}, I_{gray})} [l o g D_{1} (S_{g t}, I_{gray})] + \\ E_{I_{gray}} l o g [1 - D_{1} (S_{pred}, I_{gray})] \end{matrix}

(5)

在本文实验中，设置对抗损失和特征匹配损失的权重分别为λ_adv，1=1和λ_FM=10。

2）关键点预测网络损失函数

关键点预测网络的目的是从遮挡人脸

{\tilde{I}}_{g t}

=I_gt⊙（1-M）中预测一组68个人脸关键点L_pred，以描述人脸的拓扑结构和姿态等属性。关键点定位损失定义为

L_{l m k} = {‖L_{p r e d} - L_{g t}‖}_{2}^{2}

(6)

式中：L_pred表示经过关键点预测网络得到的关键点；L_gt表示真实人脸的关键点；||·||₂表示L₂范数。

3）人脸图像修复网络损失函数

人脸图像修复网络采用带遮挡的人脸图像

{\tilde{I}}_{g t}

、修复后的人脸结构森林边缘图S_pred和预测的人脸关键点L_pred作为输入。其损失函数包含5个部分：像素损失L₁、对抗损失L_adv，2^[18]、总变分损失L_tv、感知损失L_prec^[19]、风格损失L_style^[20]。

a.像素损失

像素损失用于衡量修复人脸图像

\hat{I}

和真实人脸图像I_gt之间的逐像素的差异，定义为

L_{1} = \frac{1}{N_{s}} {‖\hat{I} - I_{g t}‖}_{1}

(7)

式中N_S表示遮挡区域掩膜的尺寸。

b.对抗损失

对抗损失的定义为

\begin{matrix} L_{adv, 2} = E_{(I_{g t}, I_{comp}, L_{pred})} [l o g D_{2} (I_{g t}, I_{comp}, L_{pred})] + \\ E_{I_{comp}} l o g [1 - D_{2} (I_{pred}, I_{comp}, L_{pred})] \end{matrix}

(8)

式中I_comp表示生成的遮挡区域部分图像和原图像中未遮挡部分图像进行像素叠加的结果，定义为

I_{comp} = I_{g t} ⊙ (1 - M) + I_{p r e d} ⊙ M

(9)

c.总变分损失

为了提高修复区域和未遮挡区域边界过渡的连续性，降低噪声和棋盘格伪影的干扰，引入总变分损失：

L_{t v} = \frac{1}{N_{I}} {‖\nabla I_{p r e d}‖}_{1}

(10)

式中：N_I表示真实图像的像素数；

\nabla I_{p r e d}

表示生成图像的梯度；||·||₁是L₁范数。

d.感知损失

感知损失通过在预训练网络定义特征距离相似度，保证生成图像和真实图像在语义上的一致性。感知损失的定义为

L_{p r e c} = E [\sum_{i} \frac{1}{N_{i}} {‖ϕ_{i} (I_{g t}) - ϕ_{i} (I_{p r e d})‖}_{1}]

(11)

式中：φ_i表示预训练的VGG-19第i层的特征；N_i表示第i层的元素数量。本文采用ReLU1_1、ReLU2_1、ReLU3_1、ReLU4_1、ReLU5_1层提取特征。

e.风格损失

风格损失通过计算生成图像与真实图像特征之间的协方差矩阵，比较特征之间的相关性，从而提升生成图像的整体效果。对于尺寸为C_j×H_j×W_j的特征图，风格损失可定义为

L_{style} = E_{j} [{‖G_{j}^{ϕ} ({\tilde{I}}_{pred}) - G_{j}^{ϕ} ({\tilde{I}}_{g t})‖}_{1}]

(12)

式中

G_{j}^{ϕ}

为一个由VGG网络提取的特征图φ_j生成的C_j×C_j的Gram矩阵。

f.总体损失

通过对以上损失函数进行加权融合，可获得人脸修复网络的总体损失函数：

L_{total} = λ_{1} L_{1} + λ_{adv, 2} L_{adv, 2} + λ_{p} L_{prec} + λ_{s} L_{style} + λ_{t v} L_{t v}

(13)

综合参考文献^[9]并结合大量实验，参数设置为λ_adv，2=λ_p=λ_tv=0.1，λ₁=1和λ_s=250。

本文提出的图像修复网络是基于GAN构建的，其训练过程是生成器和判别器之间的博弈过程。首先，固定生成器参数并训练判别器，提升判别器辨别真实人脸和生成人脸的能力；其次，固定判别器参数并训练生成器，通过总体损失L_total进行反向传播以更新生成器的参数，使生成器生成更逼真的修复人脸图像；最后，重复上述交替训练，直至生成器和判别器的网络参数达到最优值。

3 实验与结果分析

3.1 实验环境和模型参数设置

实验训练和测试环境为Ubuntu16.04系统，CPU为Intel（R）Xeon（R）CPU E5-2620 v4@2.10GHz，GPU为GeForce GTX 1080（显卡内存12G）。软件配置为CUDA9.0、Pytorch1.1.0、Python3.7。

实验采用CelebA-HQ数据集^[21]训练模型。由于原始数据集中没有人脸图像对应的关键点，为此，使用FAN算法^[22]生成每幅图像的人脸关键点作为关键点预测网络中的参考人脸关键点；同时，使用人脸图像的结构森林边缘作为边缘修复网络中的参考人脸边缘；不规则掩码由文献^[23]中的方法生成。所有实验均使用256×256的人脸图像训练，优化器使用Adma优化器^[24]，学习率为0.000 1。

为获取最优的结构森林边缘修复结果，对式（3）中的损失权重λ_adv，1和λ_FM设置7种不同参数组合，通过边缘修复结果的质量评价指标F₁值^[25]筛选最优参数。F₁值是准确率和召回率的调和平均数，F₁值越大说明结构森林边缘修复网络生成的结果越准确。结果如表1所示。由表可知，当λ_adv，1=1，λ_FM=10时，F₁值最大，此时结构森林边缘修复网络的性能最优。

表1不同损失函数权重组合下边缘修复质量评价对比

Tab.1Comparison of edge repair quality evaluation under different weight combinations of loss functions

3.2 定性分析

为了更直观地展示本文算法的优越性，对本文算法、GatedConv算法^[26]、EdgeConnect算法和LaFIn算法的修复结果进行对比分析。

对图像进行随机比例遮挡，利用不同算法进行人脸修复，结果如图7所示。GatedConv算法的修复结果失真比较严重，主要是由于GatedConv算法在模型中未使用边缘信息，导致难以处理大面积遮挡；EdgeConnect算法使用Canny边缘作为引导信息，能够有效修复遮挡区域的纹理细节，但部分场景仍然存在修复失真的情况；LaFIn算法利用人脸关键点作为先验信息，有效修复人脸的拓扑结构，但其修复结果的细节信息丢失严重，存在边缘模糊等现象。相比之下，本文方法利用人脸边缘信息和关键点信息作为先验信息，兼顾人脸拓扑结构和细节保持，修复结果更逼近真实人脸，性能优于对比算法。

图7随机遮挡修复结果

Fig.7Inpainting result of random occlusion

图8大面积连续遮挡修复结果

Fig.8Inpainting results of large-scale continuous occlusion

现有算法对大面积遮挡的修复效果普遍较差，面部结构模糊，如图8所示。GatedConv算法修复结果严重失真，其主要原因是该算法难以从大面积遮挡的剩余区域获得有效信息；EdgeConnect和LaFln算法分别融合了人脸边缘和人脸关键点信息，修复效果优于GatedConv算法；本文算法同时融合人脸边缘和关键点信息，通过对局部细节和拓扑结构进行约束，最终有效修复大面积人脸遮挡，且修复细节和拓扑结构更合理，性能优于对比算法。

不同视角的遮挡人脸在实际场景中普遍存在，为此，对比了本文算法和其他算法对不同视角遮挡人脸的修复效果，如图9所示。从对比结果可看出，GatedConv算法的修复结果失真严重；EdgeConnect算法修复的人脸细节丢失较多；LaFIn算法修复效果比EdgeConnect稍好，但仍然丢失部分细节；相比之下，本文算法在不同视角下均能生成合理的修复结果，修复效果均优于对比算法。

图9侧脸情况下修复结果

Fig.9Inpainting results under profile face condition

对比各算法在CelebA-HQ数据集上的单张图像平均修复时间：GatedConv算法为0.057 3 s、LaFIn算法为0.221 1 s、EdgeConnect算法为0.072 3 s、本文算法为0.099 9 s，本文算法修复效率处于合理范围。

3.3 定量分析

为了更客观地评估本文算法的优越性，对各算法的修复结果进行定量评估。采用峰值信噪比（PSNR）和结构相似性（SSIM）作为定量评估指标（数值越高，表示修复效果越好），对不同遮挡比例（20%、30%、40%、50%）下各算法的修复结果进行评估，计算1 000幅测试图像的平均PSNR和SSIM，结果如表2所示。从表2可以看出，本文算法的PSNR和SSIM均高于对比算法，具有更强的人脸图像修复能力，视觉效果更接近原始人脸图像。

表2定量分析结果

Tab.2Quantitative analysis results

3.4 消融实验

为评估不同模块对最终修复结果的贡献，设计结构森林边缘修复模块和关键点预测模块的消融实验，以未添加任何引导信息的人脸修复GAN作为基准模型（Baseline），结果如表3所示。由表可知，单独融入结构森林边缘或关键点作为先验信息，均能提升人脸修复结果的质量，而本文提出的算法同时融合两种信息，PSNR和SSIM指标值达到最高，进一步验证了模型设计的合理性。

表3消融实验结果

Tab.3Results of ablation experiment

4 结语

本文提出融合边缘和关键点的遮挡人脸图像修复网络，由结构森林边缘修复网络、关键点预测网络和人脸图像修复网络组成。结构森林边缘修复网络以未遮挡人脸的结构森林边缘作为监督信息，使得修复边缘包含更丰富的人脸细节；关键点预测网络基于MobileNet-V2构建，能精准预测遮挡人脸的关键点信息；人脸图像修复网络以结构森林边缘和关键点为先验信息，结合门卷积动态区分遮挡与非遮挡区域，有效提取人脸特征，解决了现有方法修复人脸时存在的结构失真问题。实验结果表明，本文提出的人脸图像修复算法在大面积遮挡和不同视角下均能取得较好的修复效果。

图1生成对抗网络结构图

Fig.1Structure of generative adversarial network

下载: 全尺寸图片

图2Canny边缘和结构森林边缘对比图

Fig.2Comparison of Canny edge and structural forest edge

下载: 全尺寸图片

图3模型总体框架图

Fig.3Overall frame of model

下载: 全尺寸图片

图4结构森林边缘修复网络结构图

Fig.4Structure of structural forest edge restoration network

下载: 全尺寸图片

图5关键点预测网络结构图

Fig.5Structure of key point prediction network

下载: 全尺寸图片

图6人脸图像修复网络结构图

Fig.6Structure of face image inpainting network

下载: 全尺寸图片

图7随机遮挡修复结果

Fig.7Inpainting result of random occlusion

下载: 全尺寸图片

图8大面积连续遮挡修复结果

Fig.8Inpainting results of large-scale continuous occlusion

下载: 全尺寸图片

图9侧脸情况下修复结果

Fig.9Inpainting results under profile face condition

下载: 全尺寸图片

表1不同损失函数权重组合下边缘修复质量评价对比

Tab.1Comparison of edge repair quality evaluation under different weight combinations of loss functions

下载: 全尺寸图片

表2定量分析结果

Tab.2Quantitative analysis results

下载: 全尺寸图片

表3消融实验结果

Tab.3Results of ablation experiment

下载: 全尺寸图片

图1生成对抗网络结构图

Fig.1Structure of generative adversarial network

图2Canny边缘和结构森林边缘对比图

Fig.2Comparison of Canny edge and structural forest edge

图3模型总体框架图

Fig.3Overall frame of model

图4结构森林边缘修复网络结构图

Fig.4Structure of structural forest edge restoration network

图5关键点预测网络结构图

Fig.5Structure of key point prediction network

图6人脸图像修复网络结构图

Fig.6Structure of face image inpainting network

图7随机遮挡修复结果

Fig.7Inpainting result of random occlusion

图8大面积连续遮挡修复结果

Fig.8Inpainting results of large-scale continuous occlusion

图9侧脸情况下修复结果

Fig.9Inpainting results under profile face condition

表1不同损失函数权重组合下边缘修复质量评价对比

Tab.1Comparison of edge repair quality evaluation under different weight combinations of loss functions

表2定量分析结果

Tab.2Quantitative analysis results

表3消融实验结果

Tab.3Results of ablation experiment

图1生成对抗网络结构图

Fig.1Structure of generative adversarial network

图2Canny边缘和结构森林边缘对比图

Fig.2Comparison of Canny edge and structural forest edge

图3模型总体框架图

Fig.3Overall frame of model

图4结构森林边缘修复网络结构图

Fig.4Structure of structural forest edge restoration network

图5关键点预测网络结构图

Fig.5Structure of key point prediction network

图6人脸图像修复网络结构图

Fig.6Structure of face image inpainting network

图7随机遮挡修复结果

Fig.7Inpainting result of random occlusion

图8大面积连续遮挡修复结果

Fig.8Inpainting results of large-scale continuous occlusion

图9侧脸情况下修复结果

Fig.9Inpainting results under profile face condition

表1不同损失函数权重组合下边缘修复质量评价对比

Tab.1Comparison of edge repair quality evaluation under different weight combinations of loss functions

表2定量分析结果

Tab.2Quantitative analysis results

表3消融实验结果

Tab.3Results of ablation experiment

张繁, 叶凯威, 王鹿鸣, 等. 利用属性控制的人脸图像修复[J]. 计算机辅助设计与图形学学报,2022,34(7):1086.ZHANG Fan, YE Kaiwei, WANG Luming,et al. Facial image restoration using attribute control[J]. Journal of Computer-Aided Design & Graphics,2022,34(7):1086. DOI:10.3724/SP. J.1089.2022.19213

MAO X, LI Q, XIE H,et al. Least squares generative adversarial networks[C]//IEEE International Conference on Computer Vision(ICCV). Venice, Italy: IEEE,2017:2813. DOI:10.1109/ICCV.2017.304

孙琪. 基于GAN的人脸图像修复和超分重建方法研究与应用[D]. 开封: 河南大学,2022.SUN Qi. Research and application of face image restoration and hyper-resolution reconstruction methods based on GAN[D]. Kaifeng: Henan University,2022

MO Z, LEWIS J P, NEUMANN U. Face inpainting with local linear representations[C]//Proceedings of the British Machine Vision Conference 2004. London, UK: BMVA Press,2004:1. DOI:10.5244/C.18.37

JAMPOUR M, LI C, YU L F,et al. Face inpainting based on high-level facial attributes[J]. Computer Vision and Image Understanding,2017,161:29. DOI:10.1016/j.cviu.2017.05.008

ZHANG S, HE R, SUN Z,et al. Demeshnet: Blind face inpainting for deep meshface verification[J]. IEEE Transactions on Information Forensics and Security,2017,13(3):637. DOI:10.1109/TIFS.2017.2763119

LIAO H, FUNKA-LEA G, ZHENG Y,et al. Face completion with semantic knowledge and collaborative adversarial learning[C]//Computer Vision-ACCV 2018. Cham: Springer,2018:382. DOI:10.1007/978-3-030-20887-5_24

ZHANG X, WANG X, KONG B,et al. Domain embedded multi-model generative adversarial networks for image-based face inpainting[EB/OL].(2020-02-07)[2024-01-01].https://arxiv.org/abs/2002.02909

NAZERI K, NG E, JOSEPH T,et al. Edgeconnect: Generative image inpainting with adversarial edge learning[EB/OL].(2019-01-01)[2024-01-01].https://arxiv.org/abs/1901.00212. DOI:10.48550/arXiv.1901.00212

YANG Y, GUO X, MA J,et al. Lafin: Generative landmark guided face inpainting[EB/OL].(2019-11-26)[2024-01-01].https://arxiv.org/abs/1911.11394

GOODFELLOW I, POUGET-ABADIE J, MIRZA M,et al. Generative adversarial networks[J]. Communications of the ACM,2020,63(11):139. DOI:10.1145/3422622

刘鹤丹, 叶汉平, 徐梦真, 等. 生成对抗网络研究综述[J]. 物联网技术,2022,12(11):93.LIU Hedan, YE Hanping, XU Mengzhen,et al. Overview of generation countermeasures network research[J]. Internet of Things Technologies,2022,12(11):93. DOI:10.16667/j.issn.2095-1302.2022.11.029

张贺舒. 基于生成对抗网络的图像复原算法研究[D]. 南京: 南京信息工程大学,2021.ZHANG Heshu. Research on image restoration algorithms based on generative adversarial networks[D]. Nanjing: Nanjing University of Information Engineering,2021

DOLLÁR P, ZITNICK C L. Structured forests for fast edge detection[C]//Proceedings of the IEEE International Conference on Computer Vision. Columbus: IEEE 2013:1841. DOI:10.1109/ICCV.2013.231

李洋. 图像边缘检测技术在人脸中的研究与实现[D]. 成都: 电子科技大学,2013.LI Yang. Research and implementation of image edge detection technology in human face[D]. Chengdu: University of Electronic Science and Technology of China,2013

SANDLER M, HOWARD A, ZHU M,et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE,2018:4510. DOI:10.1109/CVPR.2018.00474

WANG T C, LIU M Y, ZHU J Y,et al. High-resolution image synthesis and semantic manipulation with conditional gans[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE,2018:8798. DOI:10.1109/CVPR.2018.00917

LUCAS A, LOPEZ-TAPIA S, MOLINA R,et al. Generative adversarial networks and perceptual losses for video super-resolution[J]. IEEE Transactions on Image Processing,2019.28(7):3312. DOI:10.1109/TIP.2019.2895768

GATYS L, ECKER A S, BETHGE M. Texture synthesis using convolutional neural networks[C]//Advances in Neural Information Processing Systems 28(NIPS 2015). Montreal, Canada: Curran Associates, Inc.,2015:262

GATYS L A, ECKER A S, BETHGE M. Image style transfer using convolutional neural networks[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City, UT, USA: IEEE,2016:2414. DOI:10.1109/CVPR.2016.265

LIU Z, LUO P, WANG X,et al. Deep learning face attributes in the wild[C]//2015 IEEE International Conference on Computer Vision(ICCV). Santiago, Chile: IEEE,2015:3730. DOI:10.1109/ICCV.2015.425

BULAT A, TZIMIROPOULOS G. Binarized convolutional landmark localizers for human pose estimation and face alignment with limited resources[C]//2017 IEEE International Conference on Computer Vision(ICCV). Venice, Italy: IEEE,2017:3726. DOI:10.1109/ICCV.2017.400

LIU G, REDA F A, SHIH K J,et al. Image inpainting for irregular holes using partial convolutions[C]//Computer Vision-ECCV 2018. Munich, Germany: Springer,2018:85. DOI:10.1007/978-3-030-01252-6_6

KINGMA D P, BA J. Adam: A method for stochastic optimization[EB/OL].(2014-12-22)[2024-01-01].https://arxiv.org/abs/1412.6980

JANSCHE M. Maximum expected F-measure training of logistic regression models[C]//Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing(HLT/EMNLP). Vancouver, Canada: Association for Computational Linguistics,2005:692. DOI:10.3115/1220575.1220662

YU J, LIN Z, YANG J,et al. Free-form image inpainting with gated convolution[C]//2019 IEEE/CVF International Conference on Computer Vision(ICCV). Seoul, Korea(South): IEEE,2019:4470. DOI:10.1109/ICCV.2019.00457

Publication Statement

Journal Subscription

1 相关工作

2 网络构建

3 实验与结果分析

4 结语