色狠狠一区二区三区,欧洲免费在线视频,国产一区av在线

基于Star-Gan的人臉互換算法

《信息技術(shù)與網(wǎng)絡(luò)安全》2020年第5期

易旭，白天

中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院

摘要： 基于Star-Gan的人臉互換算法易旭，白天(中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽合肥 230026)基于深度學(xué)習(xí)的人臉互換算法會因背景人臉環(huán)境的明亮程度、人臉表情、姿勢等因素影響換臉效果，現(xiàn)階段的人臉互換模型存在固有的弊端。采用Patch-Gan(Generative Adversarial Networks)的判別器結(jié)構(gòu)能通過全卷積網(wǎng)絡(luò)增強(qiáng)人臉局部一致性的效果。生成器將Unet結(jié)構(gòu)的編碼器的特征輸出作為輸入，能考慮多層信息細(xì)節(jié)。整體模型架構(gòu)采用Star-Gan的模型，引入實例歸一化層能保證圖像的獨(dú)立性。最后在Face-Forensics++人臉互換數(shù)據(jù)集上進(jìn)行驗證，結(jié)果表明，融合的模型有較好的生成效果和細(xì)節(jié)。

關(guān)鍵詞： 深度學(xué)習(xí) 人臉互換對抗生成網(wǎng)絡(luò)

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A DOI： 10.19358/j.issn.2096-5133.2020.05.003
引用格式：易旭，白天.基于Star-Gan的人臉互換算法［J］.信息技術(shù)與網(wǎng)絡(luò)安全，2020,39（5）：12-16.

Yi Xu，Bai Tian

School of Software Engineering,University of Science and Technology of China

Abstract： The effect of face swap algorithm based on deep learning will be affected by the brightness of the background face environment,facial expression,posture and other factors.There are inherent disadvantages in the current face swap models.The discriminator structure based on PatchGan can enhance the local consistency of human face through full convolution network.The generator takes the feature output of the Unet encoder as the input,and considers the multilayer information details.Among them,StarGan model is adopted as the overall model architecture,and case normalization layer is introduced to ensure the image independence.Finally,it is validated on FaceForensics++ face exchange data set.The results show that the optimized model has better generation effect and details.

Key words : deep learning;face swap;generative adversarial networks

隨著深度學(xué)習(xí)技術(shù)的興起，圖像處理相關(guān)的研究有了一項強(qiáng)有力的技術(shù)支持。人臉互換在圖像處理方面作為一個里程碑式的技術(shù)，意味著計算機(jī)能夠理解人臉圖像。如何通過對抗生成網(wǎng)絡(luò)實現(xiàn)人臉互換，提升生成效果是現(xiàn)如今計算機(jī)視覺的一大熱點。

對于傳統(tǒng)的方法Face-swap^［1］，人臉互換只是把目標(biāo)人臉截取，粘貼到原始人臉上面，使用圖像融合的相關(guān)算法（如泊松融合）消除邊界，后續(xù)的改進(jìn)一般是在圖像融合方面進(jìn)行突破。

近年來，隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的成熟，KORSHUNOVA I^［2］提出基于深度學(xué)習(xí)的人臉互換，將兩個人臉的身份信息看成是兩個不同圖片風(fēng)格，為一個目標(biāo)人物訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)提取人臉特征，換臉其實就是替換人臉的高維隱空間向量，而后再用訓(xùn)練好的人臉生成器進(jìn)行生成，這種方式要求同一身份大量的人臉數(shù)據(jù)，其訓(xùn)練得到的模型只適用于這兩個身份。YUVAL N^［3］提出先使用3DMM模型擬合人臉，再互換人臉，解決了需要大量同一身份人臉圖片的問題，但3DMM仍然有人臉匹配失敗的問題，最終導(dǎo)致模型出錯。NATSUME R^［4-5］提出了FSnet和RSGAN,使用編碼器學(xué)習(xí)整體人臉的編碼，對所有的人臉只學(xué)習(xí)一個單一的人臉身份編碼器網(wǎng)絡(luò)，但由于輸出的編碼是一個高維的人臉身份向量，特征信息依然高度糾纏。

本文借鑒前人的思想，使用Star-Gan模型作為生成器，利用Arcface^［6］身份編碼器提取人臉高維身份特征，針對人臉細(xì)節(jié)的生成，使用基于U-net^［7］的人臉特征編碼器模型為多層級的輸入，解決人臉特征糾纏的問題，使用PatchGan的思想改造判別器網(wǎng)絡(luò)結(jié)構(gòu)，引入實例歸一化層提升生成效果。

本文詳細(xì)內(nèi)容請下載：http://www.jysgc.com/resource/share/2000003093

作者信息：易旭，白天(中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽合肥 230026)

原創(chuàng)聲明：此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容