《基于面部特征點的人臉圖像修復(fù)網(wǎng)絡(luò)》論文發(fā)表期刊：《中國科技論文》；發(fā)表周期：2021年07期

《基于面部特征點的人臉圖像修復(fù)網(wǎng)絡(luò)》論文作者信息：第一作者：羅仕勝（1995—），男，碩士研究生，主要研究方向為圖像處理。通信作者：陳明舉，副教授，主要研究方向為圖像處理。

　　摘 要：為了獲得更好的圖像修復(fù)效果，建立了一種由人臉特征點預(yù)測子網(wǎng)和人臉修復(fù)子網(wǎng)組成的人臉面部圖像修復(fù)深度學(xué)習(xí)網(wǎng)絡(luò)。該網(wǎng)絡(luò)的面部特征點預(yù)測子網(wǎng)在 MobileNetV2模型基 礎(chǔ) 上 引 入 SE(squeeze-and-excite)結(jié) 構(gòu)，實現(xiàn)了對不完整人臉圖像的面部特征點預(yù)測;修復(fù)子網(wǎng)中的生成器采用密集連接塊 U-Net結(jié)構(gòu)，并新增殘差塊間的跳躍連接，實現(xiàn)了對提取的圖像淺層特征信息的再利用，增強了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)信息的預(yù)測能力。對比實驗結(jié)果證明，所提人臉圖像修復(fù)深度學(xué)習(xí)網(wǎng)絡(luò)可獲得更好的圖像修復(fù)性能，修復(fù)后的圖像更接近于真實圖像。

　　關(guān)鍵詞：圖像修復(fù);特征點預(yù)測;密集連接塊;跳躍連接;生成對抗網(wǎng)絡(luò)

　　Abstract: In order to obtain a better image inpainting effect, a face image inpainting deep learning net work composed of face landmark prediction and inpainting subnet was established. Based on the MobileNetV2, the facial landmark prediction subnet of this net work introduced SE (squeeze-and-excite) module to realize the prediction of facial landmarks of incomplete face images. The generator in the inpainting subnet adopted the densely connected block U-Net structure. The skip connections between residual blocks were added to realize the reuse of the shallow feature information of the extracted image, which enhanced the predictive a bility of the neural network structure information. Comparative experiments prove that the proposed deep learning network for face image inpainting can obtain better image inpainting performance, and the inpainted image is closer to the real image.

　　Keywords: image inpainting; landmark prediction; dense block; skip connections; generative adversarial networks

　　近年來，基于面部信息特征的生物識別因具有用戶接受度高、實施應(yīng)用方便及隱蔽性好等優(yōu)點而被廣泛應(yīng)用，成為學(xué)者們研究的主要內(nèi)容之一。但在實際應(yīng)用中，由于環(huán)境復(fù)雜、表情多變及物體遮擋等多種原因，造成人臉識別的準(zhǔn)確率較低，是亟待解決的問題。對公安系統(tǒng)而言，犯罪分子往往會使用口罩、眼鏡等遮擋物，導(dǎo)致面部大多數(shù)信息丟失，影響面部特征的提取，造成人臉識別算法的誤判。采用圖像修復(fù)方法可以有效地實現(xiàn)對缺失人臉圖像的修復(fù)，提高人臉識別的準(zhǔn)確率。

　　傳統(tǒng)的修復(fù)方法主要有2種：一種是基于擴(kuò)散的方法，另一種是基于補丁的方法。基于擴(kuò)散的方法[r2以迭代擴(kuò)散的方式在被遮擋的區(qū)域傳導(dǎo)低級特征，僅適用于結(jié)構(gòu)性較強的小尺寸區(qū)域;基于補丁的方法[-1通過在同一張圖像上的其他區(qū)域?qū)ふ蚁嗨频膲K，以實現(xiàn)遮擋區(qū)域的修復(fù)，但其忽略了區(qū)域的連續(xù)性，會在邊界區(qū)域存在一定的模糊。

　　近年來，基于深度學(xué)習(xí)的圖像處理技術(shù)在圖像處理中獲得了較好的效果，并逐漸被應(yīng)用于圖像修復(fù)處理中。其中，生成對抗網(wǎng)絡(luò)(generative adver-

　　sarial networks，GAN)采用生成模型和判別模型的互相博弈學(xué)習(xí)，能有效實現(xiàn)圖像修復(fù)[-3]，如對抗性損失訓(xùn)練的編解碼深度學(xué)習(xí)網(wǎng)絡(luò)[1]、由粗到細(xì)的距離空間相關(guān)特征網(wǎng)絡(luò)結(jié)構(gòu)及語義分割的缺失修復(fù)網(wǎng)絡(luò)等[10]。針對人臉的特殊性，Jo等[1]通過手工標(biāo)注人臉邊緣，再通過深度學(xué)習(xí)網(wǎng)絡(luò)生成人臉圖像。

　　Nazeri等[2]應(yīng)用邊緣學(xué)習(xí)對抗網(wǎng)絡(luò)來預(yù)測邊緣，代替了手工標(biāo)注，但在大面積缺失情況下預(yù)測效果不準(zhǔn)確。Zhang等[15].zakharov等[]、Yang等[15]通過提取人臉特征點作為人臉臉部圖像修復(fù)的參考，以提高人臉圖像的修復(fù)效果。

　　有效的人臉修復(fù)算法應(yīng)該考慮面部器官的結(jié)構(gòu)分布與面部表情、姿勢、性別等方面的特征。這些特征點可以看作對面部關(guān)鍵區(qū)域采樣的離散點，離散的特征點可以視為在去除用于面部修復(fù)的冗余信息情況下，對面部區(qū)域進(jìn)行反向推理。基于上述思想，本文建立一種由人臉特征點預(yù)測的深度學(xué)習(xí)修復(fù)網(wǎng)絡(luò)，以實現(xiàn)面部圖像的有效修復(fù)。該網(wǎng)絡(luò)通過引入SE(squeeze-andrexcite)[6]結(jié)構(gòu)的MobileNet模型實現(xiàn)對待修復(fù)面部圖像特征點的預(yù)測;修復(fù)子網(wǎng)是基于GAN所組成的，其中生成器部分新增殘差網(wǎng)絡(luò)之間的跳躍連接，通過對低層卷積層中圖像特征的結(jié)合，起到增強網(wǎng)絡(luò)對圖像結(jié)構(gòu)信息提取及預(yù)測的能力。并通過對比實驗證明建立的基于特征點預(yù)測的深度學(xué)習(xí)網(wǎng)絡(luò)具有高效的面部圖像修復(fù)性能。

　　1面部特征預(yù)測深度學(xué)習(xí)圖像修復(fù)網(wǎng)絡(luò)

　　有效的人臉修復(fù)算法采用語義上有意義、視覺

　　上連續(xù)的信息來填充缺失部分，給出1張被掩模

　　(S)遮擋的人臉圖像(1)，指定5為S的補碼，修復(fù)結(jié)果(i)可定義為

　　有效的人臉修復(fù)算法的修復(fù)結(jié)果應(yīng)該保持眼睛、鼻子和嘴等面部各器官之間的拓?fù)浣Y(jié)構(gòu)，以及姿勢、性別、種族和表情等的一致性。為了實現(xiàn)這個目標(biāo)，本文建立了由特征點預(yù)測子網(wǎng)和深層修復(fù)網(wǎng)絡(luò)組成的人臉修復(fù)模型，深層修復(fù)網(wǎng)絡(luò)利用生成的面部特征點對人臉進(jìn)行修復(fù)。為生成有效的人臉特征圖，在MobileNetV2網(wǎng)絡(luò)[17)的基礎(chǔ)上引入SE結(jié)構(gòu)，構(gòu)建一個輕量級特征點預(yù)測網(wǎng)絡(luò)，并生成一個高精度面部特征點檢測網(wǎng)絡(luò)。修復(fù)網(wǎng)絡(luò)由生成器和鑒別器組成，生成器以U-Net結(jié)構(gòu)[]為基礎(chǔ)。其中，生成器部分新增殘差網(wǎng)絡(luò)之間的跳躍連接，使得網(wǎng)絡(luò)可以更好地利用網(wǎng)絡(luò)空間不同階段的圖像特征，減少下采樣過程中所造成的圖像結(jié)構(gòu)信息損失，并結(jié)合未缺失區(qū)域進(jìn)一步提取缺失部分圖像的語義，強化神經(jīng)網(wǎng)絡(luò)對圖像結(jié)構(gòu)信息的預(yù)測能力。此外，跳躍連接還可以起到防止梯度消失的作用。根據(jù)面部圖像的特性，鑒別器以Patch-GAN結(jié)構(gòu)為基礎(chǔ)，引入譜歸一化(spectral normalization，SN)模塊和實例正則化(instance normalization，IN)模塊，并插入注意層，自適應(yīng)地處理特征，以實現(xiàn)面部圖片的高精度修復(fù)。人臉修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。圖中，右下角虛線框中為網(wǎng)絡(luò)結(jié)構(gòu)中各個部分所對應(yīng)的組成示意圖，卷積層中的LReLU，ReL.U，PRel.U.Re LU6，tanh均為激活函數(shù)，Conv為卷積操作，Deconv為反卷積操作。

　　1.1特征點預(yù)測網(wǎng)絡(luò)

　　目標(biāo)修復(fù)任務(wù)針對的主要是底層的拓?fù)浣Y(jié)構(gòu)和屬性，而不只是單個特征點的精確位置。因此，建立面部圖像拓?fù)浣Y(jié)構(gòu)特征點預(yù)測模塊，將有效提高圖像的修復(fù)性能。SEnet網(wǎng)絡(luò)采用通道特征加權(quán)的思路，能尋找拓?fù)浣Y(jié)構(gòu)的部分關(guān)鍵特征點，但是訓(xùn)練效果較差，SEnet訓(xùn)練的關(guān)鍵點很難收斂。為了更好地實現(xiàn)人臉特征的預(yù)測，本文采用深度可分離卷積、批歸泛化、反向殘差結(jié)構(gòu)、線性瓶頸結(jié)構(gòu)、平均池化等，并引入SE模塊，建立準(zhǔn)確的人臉特征拓?fù)浣Y(jié)構(gòu)MobileNetV3，其結(jié)構(gòu)如圖2所示。

　　特征點預(yù)測網(wǎng)絡(luò)是基于MobileNetV3設(shè)計的，利用MobileNet V3網(wǎng)絡(luò)前13層卷積層中的一系列瓶頸(bneck)結(jié)構(gòu)來提取特征并加快網(wǎng)絡(luò)速度;接下來的10個卷積層是對提取特征圖進(jìn)行的壓縮處理;網(wǎng)絡(luò)的最后一層為全連接層，將處理后的特征圖進(jìn)行融合并將其映射到樣本圖像中，進(jìn)而輸出遮擋圖像的預(yù)測面部特征點。特征點預(yù)測網(wǎng)絡(luò)如圖3所示。圖中：每個方形塊代表網(wǎng)絡(luò)中的一個部分，c為通道數(shù)，k為內(nèi)核大小，s為卷積或反卷積層步長，p為填充，f為膨脹系數(shù)，n為重復(fù)次數(shù);第1部分參數(shù)(從上到下，圓點隔開)分別為c、k、s.p;第2~12部分參數(shù)分別為f、c、n、s;其余參數(shù)為c。

　　1.2 面部圖像修復(fù)網(wǎng)絡(luò)

　　修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)由生成器和鑒別器組成。生成器是在遮擋圖片和預(yù)測特征點的基礎(chǔ)上生成修復(fù)圖像;而判別器是結(jié)合真實特征點來判別生成的結(jié)果是否符合真實的情況。生成器結(jié)構(gòu)如圖4所示。除了第11部分外，其余部分參數(shù)(從上到下，圓點隔開)分別為c、k、s、p。

　　生成器基于U-Net結(jié)構(gòu)，采用3個逐漸向下采樣的編碼塊組成，其后是伴隨空洞卷積的7個殘差塊和1個長短期注意塊。解碼器結(jié)合低層的特征對所得特征進(jìn)行處理，通過逐層上采樣使得圖像恢復(fù)到與輸入時同樣大小。空洞卷積使得最終的特征圖不至于太小而丟失太多細(xì)節(jié)。殘差塊的引入是為了降低計算的復(fù)雜度。長短期注意層[]被用來連接時間特征圖，而堆積的擴(kuò)張塊則是為了擴(kuò)大感受野，以便能考慮更廣范圍的特征。每個解碼層之前執(zhí)行1×1卷積運算，以接受前面的所有特征圖，并使特征圖尺寸增大1倍。另外，為了更好地提取圖像缺失部分的語義信息，在相應(yīng)的編解碼層及殘差塊之間加入跳躍連接，這不僅便于對圖像低層特征的再利用，還能夠提供從淺層到深層的梯度流信息，改進(jìn)訓(xùn)練速度，進(jìn)一步提高訓(xùn)練性能。

　　基于博弈的概念，生成器試圖生成1個特征點，作為條件完整的人臉來欺騙判別器，而判別器是確定生成的結(jié)果是否滿足數(shù)據(jù)分布。當(dāng)生成的結(jié)果與實際結(jié)果不可區(qū)分時，即達(dá)到收斂。

　　在修復(fù)網(wǎng)絡(luò)中，判別器建立在70×70的PatchrGAN結(jié)構(gòu)上[20，為了穩(wěn)定訓(xùn)練過程，本文將SN引入到修復(fù)網(wǎng)絡(luò)的判別器模塊中。除此之外，插入注意層(判別器的第3層)，以自適應(yīng)地處理特征。判別器中使用特征點作為判別標(biāo)準(zhǔn)，確保了面部的全局結(jié)構(gòu)，保證了屬性的一致性。判別器結(jié)構(gòu)如圖5所示。除 了 第3部 分 外，其 余 部 分 參 數(shù)(從 上 到 下，圓點隔開)分別為c、k、s、p。

　　2實驗驗證

　　2.1訓(xùn)練規(guī)劃

　　本文訓(xùn)練和測試均在Windows10專業(yè)版操作系統(tǒng)的服務(wù)器上進(jìn)行，服務(wù)器硬件配置為CPU(Inter Xeon)、4塊GPU(Nvidia TITAN Xp)、超微主板X1ODRG-Q、鎂光256 GB內(nèi)存、2 TB硬盤;軟件配置為CUDA.Anaconda3.Pytorch.PyCharm.Python3.7等。

　　實驗選用CelebA數(shù)據(jù)集、CelebA-HQ數(shù)據(jù)集及WFIW數(shù)據(jù)集對本文算法進(jìn)行訓(xùn)練。由于數(shù)據(jù)集原始數(shù)據(jù)給出的特征點不夠，本文使用FAN來生成特征點，作為真實圖像的特征點。如果對特征點生成網(wǎng)絡(luò)與修復(fù)網(wǎng)絡(luò)同時進(jìn)行訓(xùn)練，參數(shù)的調(diào)整非常困難，會造成特征點預(yù)測精度較低和圖形修復(fù)效果變差。因此，將模型分為特征點預(yù)測模塊和修復(fù)模塊，并分別對特征點預(yù)測模型和修復(fù)模型進(jìn)行訓(xùn)練。在本文實驗中，特征點預(yù)測模型和修復(fù)模型均使用256 × 256大小的面部圖像進(jìn)行訓(xùn)練，采用Adma優(yōu)化器[2])進(jìn)行優(yōu)化，設(shè)置指數(shù)衰減率A=0.

　　品=0.9，學(xué)習(xí)率為10-。鑒別器的學(xué)習(xí)率設(shè)置為10-s，特征點預(yù)測網(wǎng)絡(luò)使用的batch size設(shè)置為16，修復(fù)網(wǎng)絡(luò)的batch size設(shè)置為42.2修復(fù)實驗

　　對比分析實驗使用CelebA-HQ數(shù)據(jù)集中未參與訓(xùn)練的300張圖像。使用遮擋區(qū)域較大的中心掩模與原圖像進(jìn)行Hadamard乘積形成遮擋圖像，作為用于實驗的待修復(fù)圖像。實驗所用圖像像素值規(guī)格統(tǒng)一設(shè)置為256 ×256，掩模部分采用的像素值規(guī)格為中心區(qū)域為128×128的白色掩模。本文網(wǎng)絡(luò)的人臉修復(fù)過程如圖6所示。特征點預(yù)測模塊首先對遮擋圖像進(jìn)行特征點預(yù)測，修復(fù)模塊然后對預(yù)測特征點與遮擋圖像結(jié)合所生成的圖像進(jìn)行修復(fù)。由圖6可以看出，本文提出的深度網(wǎng)絡(luò)能準(zhǔn)確地生成特征點預(yù)測模塊，且修復(fù)后的圖像接近于真實圖像。

　　另外，分別采用CelebA數(shù)據(jù)集、CelebA-HQ數(shù)據(jù)集[2)及WFLW數(shù)據(jù)集對本文建立的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再對測試圖片分別進(jìn)行修復(fù)，修復(fù)后的部分圖片如圖7所示，可見，用CelebA-HQ數(shù)據(jù)集訓(xùn)練出的修復(fù)模型對圖像的修復(fù)效果更佳，人臉面部表情更自然，面部各器官之間的拓?fù)浣Y(jié)構(gòu)更符合真實圖像。因此，后續(xù)的實驗將基于CelebA-HQ人臉數(shù)據(jù)集對本文算法作性能評估。

　　為證明本文建立的基于面部特征預(yù)測的深度學(xué)習(xí)修復(fù)圖像網(wǎng)絡(luò)的優(yōu)越性，將本文深度學(xué)習(xí)網(wǎng)絡(luò)的修復(fù)結(jié)果分別與同本文算法相近似的深度學(xué)習(xí)網(wǎng)絡(luò)EdgeConnect(EC)[，Contextual Attention(CA)[2]和LaFIn[15]進(jìn)行對比分析。

　　定量比較采用峰值信噪比(peak signal to noise ratio，PSNR)、結(jié)構(gòu)相似性(structural similarity in dex，SSIM)[2]及弗雷特距離(Frechet inception dis tance score，F(xiàn)ID)[2]3個客觀指標(biāo)，PSNR和SSIM值越高，表示性能越好;FID值越低，則表示性能越好。

　　對CelebA-HQ數(shù)據(jù)集在中心掩模上的PSNR SSIM和FID值進(jìn)行定量比較，結(jié)果見表1，可見：EC網(wǎng)絡(luò)的PSNR和SSIM值優(yōu)于CA網(wǎng)絡(luò)，因其是利用邊緣信息來幫助修復(fù);LaFIn網(wǎng)絡(luò)采用基于Mobilenetv2結(jié)構(gòu)的特征點預(yù)測模型，并使用U-Net結(jié)構(gòu)的生成網(wǎng)絡(luò)，其客觀指標(biāo)優(yōu)于CA和EC。在各種網(wǎng)絡(luò)中，本文提出的特征點預(yù)測深度網(wǎng)絡(luò)獲得了最高的PSNR和SSIM值，最低的FID值。這是由于本文的深度網(wǎng)絡(luò)基于LaFIn網(wǎng)絡(luò)，引入的SE模塊提高了面部特征點預(yù)測的精確度，且修復(fù)子網(wǎng)中的生成器部分新增了殘差網(wǎng)絡(luò)之間的跳躍連接，通過對低層卷積抽象位置特征的再利用，可強化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)信息的預(yù)測能力，相比于基于邊緣特征的邊緣特征修復(fù)網(wǎng)絡(luò)，其PSNR與SSIM值分別提高了578%和7.33%，F(xiàn)ID值降低了22.36%。可見，基于本文特征點預(yù)測深度學(xué)習(xí)網(wǎng)絡(luò)的人臉修復(fù)效果明顯優(yōu)于基于邊緣特征的人臉修復(fù)網(wǎng)絡(luò)。相比于L.aFIn網(wǎng)絡(luò)，本文所提網(wǎng)絡(luò)修復(fù)后PSNR和SSIM值分別提高了2.01%和2.67%，F(xiàn)ID值降低了3.73%，證明本文建立的特征點預(yù)測深度學(xué)習(xí)網(wǎng)絡(luò)的人臉修復(fù)效果最優(yōu)。

　　CA網(wǎng)絡(luò)、EC網(wǎng)絡(luò)、LaFn網(wǎng)絡(luò)和本文所提網(wǎng)絡(luò)修復(fù)后的部分結(jié)果對比如圖8所示，可見：人臉在較大面積的遮擋情況下，CA網(wǎng)絡(luò)和EC網(wǎng)絡(luò)的修復(fù)效果并不理想，修復(fù)的面部圖像的拓?fù)浣Y(jié)構(gòu)與原圖有較大差異，CA網(wǎng)絡(luò)甚至?xí)�產(chǎn)生模糊區(qū)域，如圖8(c)的第1，3行中，CA網(wǎng)絡(luò)所生成的修復(fù)區(qū)域圖像變得模糊。EC網(wǎng)絡(luò)在大多數(shù)情況下可以還原出圖像的面部結(jié)構(gòu)，但其拓?fù)浣Y(jié)構(gòu)與原圖像相比卻有較大的差別(圖8(d))。此外，相比于CA網(wǎng)絡(luò)和EC網(wǎng)絡(luò)，LaFIn網(wǎng)絡(luò)和本文建立的深度學(xué)習(xí)網(wǎng)絡(luò)能獲得更好的修復(fù)效果。同時，通過對比圖8(e)和圖8(f)，且與LaFIn網(wǎng)絡(luò)相比，本文建立的深度學(xué)習(xí)網(wǎng)絡(luò)在修復(fù)的面部各器官的形狀、表情、紋理結(jié)構(gòu)及清晰度4個方面均有所提升，有更優(yōu)的修復(fù)效果，更接近于真實圖像。通過圖8可以再次說明，本文建立的深度學(xué)習(xí)網(wǎng)絡(luò)，由于引入了SE模塊的特征點預(yù)測模型，以及在生成網(wǎng)絡(luò)殘差塊中新增了跳躍連接，能更好地實現(xiàn)人臉圖像的修復(fù)。

　　3結(jié)論

　　本文針對現(xiàn)有人臉圖像修復(fù)網(wǎng)絡(luò)的不足，在對LaFIn網(wǎng)絡(luò)進(jìn)行深入研究的基礎(chǔ)上，提出了一種基于LaFIn網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)網(wǎng)絡(luò)，通過引入SE結(jié)構(gòu)到特征點預(yù)測子網(wǎng)，生成高精度面部特征點檢測網(wǎng)絡(luò)，提高面部特征點預(yù)測的精確度;在修復(fù)子網(wǎng)生成器中新增殘差網(wǎng)絡(luò)之間的跳躍連接，使得網(wǎng)絡(luò)可以更好地利用網(wǎng)絡(luò)空間不同階段的圖像特征，減少下梁樣過程中所造成的圖像結(jié)構(gòu)信息損失;結(jié)合未缺失區(qū)域進(jìn)一步提取缺失部分圖像的語義，強化神經(jīng)網(wǎng)絡(luò)對圖像結(jié)構(gòu)信息的預(yù)測能力。對比實驗證明，本文網(wǎng)絡(luò)具有更好的修復(fù)效果，修復(fù)后的圖像更接近真實圖像，更適合用于對大面積遮擋的人臉圖像的修復(fù)。

　　[參考文獻(xiàn)](References)

　　[1]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//Proceedings of the 27th AnnualConference on Computer graphics And Interactive Techniques.[S l.：s n]，2000：417-424.

　　[2] YAMAUCHI H.HABER J.SEIDEL H P.Image restoration using multiresolution texture synthesis and image inpainting[C]//Proceedings of Computer Graphics International.New York：IEEE，2003：7854038.

　　[3]BARNES C，SHECHTMAN E.FINKELSTEIN A.et al. PatchMatch: a randomized correspondence algorithm for structural image editing [J]. ACM Transations Graphics, 2009, 28(3): 1-11.

　　[4]HUANG J B.KANG S B.Ahuja N，et al.Image completion using planar structure guidance[J].ACM Transactions on Graphics，2014，33(4)：1-10.

　　[5]MAO XD，LI Q.XIE H R，et al.Least squares generative adversarial networks[C]//2017 IEEE International Conference on Computer Vision(ICCV).New York：IEEE，2016：17453045.

　　[6]付奧，基于深度生成對抗模型的人臉修復(fù)算法研究[D].西安：西安電子科技大，，2019：25-37.

　　FU A.Research on face repair algorithm based on deep generative adversarial model[D].Xi'an：Xidian University，2019：25-37.(in Chinese)

　　[7]馬悅，基于深度生成模型的人臉圖像修復(fù)算法研究[D].西安：西安電子科技大，2019：23-43.

　　MA Y.Research on face image restoration algorithm based on depth generative model[D].Xi'an：Xidian University，2019：23-43.(in Chinese)

　　[8]朱德泉，基于生成對抗網(wǎng)絡(luò)的人臉圖像修復(fù)的研究[D].成都：電子科技大學(xué)，2020：23-43.

　　ZHU D Q.Research on face image restoration based ongenerative adversarial network[D].Chengdu：Univerity of Electronic Science and Technology of China，2020：23-43.(in Chinese)

　　[9] GOODFELLOW I, POUGET-ABADIE J, MIRZA M.et al. Generative adversarial networks [J]. Communications of the ACM, 2020, 63(11): 139-144.

　　[10] LI YJ, LIU SF, YANG J M, et al. Generative face completion [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2017: 17355119.

　　[11] JO Y, PARK J. SC-FEGAN: face editing g-enerative adversarial network with user's sketch and color [C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). New York: IEEE, 2019: 19410332.

　　[12] NAZERI K, NG E, JOSEPH T, et al. Edgeconnect: generative image inpainting with adversarial edge learning [J]. arXiv, 2019: 1901. 00212.

　　[13] ZHANGJ N, ZENG X F, PAN Y S, et al. Faceswaprnet: landmark guided many-to-many face reenactment[J]. arXiv, 2019: 1905 11805.

　　[14] ZAKHAROV E. SHYSHEYA A, BURKOV E, et al.Fewshot adversarial learning of realistic neural talking head models [C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). New York: IEEE, 2019: 19399012.

　　[15] YANG Y, GUO XJ, MA J Y, et al. LaFIn: generative landmark guided face inpainting [J]. arXiv,2019: 1911. 11394.

　　[16] HUJ, SHEN L. ALBANIE S, et al. Squeeze-and-ex-citation networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 42 (8):2011-2023

　　[17]SANDLER M，HOWARD A，ZHU M，et al.MobileNetV2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York：IEEE，2018：18311793.

　　[18]楊文霞，王萌，張亮，基于密集連接塊U-Net的語義人臉圖像修復(fù)[1].計算機(jī)應(yīng)用，2020，40(12)：3651-3657.

　　YANG W X.WANG M.ZHANG L..Semantic face image inpainting based on U-Net with dense blocks[J].Journal of Computer Applications，2020，40(12)：3651-3657.(in Chinese)

　　[19]ZHENG C X.CHAM TJ，CAI J F.Pluralistic image completion[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).New York：IEEE，2019：19263276.

　　[20]SANDLER M，HOWARD A，ZHU M，et al.Mobilenetv2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，New York：IEEE，2018：18311793.

　　[21] KINGMA D P, BA J. Adam: a method for stochastic optimization [J]. arXiv, 2014: 1412. 6980

　　[22] LIU Z W, LUO P, WANG X Q, et al. Deep learning ace attributes in the wild [C]//2015 IEEE International Conference on Computer Vision (ICCV), New York: EEE. 2015: 15801641.

　　[23] YUJ H, LIN Z, YANGJ M, et al. Generative image inpainting with contextual attention [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 18347746.

　　[24] WANG Z. BOVIK A C. SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612,

　　[25] HEUSEL M. RAMSAUER H, UNTERTHINER T, et al. Gans trained by a two timescale update rule converge to a local nash equilibrium [C]//Proceedings of the 31 st International Conference on Neural Information Processing Systems. [s. 1.]: NIPS, 2017:6629-6640.