融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的深度偽造檢測算法
信息技術(shù)與網(wǎng)絡(luò)安全
楊雨鑫1，周 欣1，2，熊淑華1，何小海1，卿粼波1
(1.四川大學(xué) 電子信息學(xué)院，四川 成都610065；2.中國信息安全測評中心，北京100085)
摘要： 人臉深度偽造檢測技術(shù)對于打擊虛假圖像/視頻泛濫具有至關(guān)重要的意義。提出了一種融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的檢測算法，算法結(jié)合了傳統(tǒng)特征具有可解釋性與神經(jīng)網(wǎng)絡(luò)高準(zhǔn)確率的優(yōu)點，利用圖像灰度共生矩陣以及XceptionNet組成雙特征提取模塊，然后在全卷積網(wǎng)絡(luò)中充分考慮雙流融合特征信息，最終根據(jù)網(wǎng)絡(luò)多損失實現(xiàn)圖像真?zhèn)畏诸惻袥Q。在FaceForensics++數(shù)據(jù)集上進行了訓(xùn)練和測試，實驗結(jié)果表明，相比現(xiàn)有深度學(xué)習(xí)算法，檢測準(zhǔn)確率有明顯提升。而且由于引入的紋理特征具有一定的可解釋性，表現(xiàn)出良好的鑒別性能。
中圖分類號： TP181
文獻標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.02.006
引用格式： 楊雨鑫，周欣，熊淑華，等. 融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的深度偽造檢測算法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(2)：33-38，44.
文獻標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.02.006
引用格式： 楊雨鑫，周欣，熊淑華，等. 融合傳統(tǒng)特征與神經(jīng)網(wǎng)絡(luò)的深度偽造檢測算法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2021，40(2)：33-38，44.
Research on deepfakes detection combining traditional features and neural network
Yang Yuxin1，Zhou Xin1，2，Xiong Shuhua1，He Xiaohai1，Qing Linbo1
(1.College of Electronics and Information Engineering，Sichuan University，Chengdu 610065，China； 2.China Information Technology Security Evaluation Center，Beijing 100085，China)
Abstract： DeepFakes detection is significant to combat the spread of forgery video. Aiming at the task of deepfakes detection, a method combining traditional features and neural network is proposed. The method combines the interpretability of traditional features and high accuracy of the neural network. This paper used the gray level co-occurrence matrix and XceptionNet to form two feature extraction modules, then learned the dual-stream fusion feature information in the fully convolutional network. The image was distinguished according to multiple losses in the network finally. Our method was tested over benchmarks of the FaceForensics++ datasets. The experimental results show that compared with the state-of-the-art deep learning algorithms, the detection accuracy has been significantly improved. It shows promising discrimination performance due to the introduction of texture feature interpretability.
Key words : deepfakes；image forensics；feature fusion；gray level co-occurrence matrix(GLCM)；convolutional neural network(CNN)
0 引言
深度偽造是利用深度學(xué)習(xí)算法生成偽造人臉圖像/視頻技術(shù)的總稱。這種視覺合成技術(shù)根據(jù)實現(xiàn)方式的不同，具體細(xì)分為DeepFake、Face2Face[1]、FaceSwap[2]等。該技術(shù)可以將圖像中已有的面部表情和動作提取出來，合成另一張人臉替代原圖臉部區(qū)域，最終制造出人眼難以區(qū)分的虛假圖像/視頻。
2019年，SnapChat和ZAO等應(yīng)用程序?qū)崿F(xiàn)了用戶與電影明星換臉的功能，深度偽造技術(shù)快速進入公眾視野并引發(fā)關(guān)注。與此同時，普通人可以利用開源的深度偽造程序生成逼真的人臉圖像/視頻，使得眾多公眾人物陷入遭受深度偽造技術(shù)攻擊的風(fēng)險之中。龍坤[3]等人從國家政治安全、經(jīng)濟安全、社會安全、國民安全方面論述了深度偽造技術(shù)帶來的潛在危害，美國國防高級研究計劃署也在同年針對虛假圖像/視頻發(fā)起檢測項目。因此，針對深度偽造算法生成圖像的檢測工作變得越來越重要。
本文詳細(xì)內(nèi)容請下載:http://www.jysgc.com/resource/share/2000003376
作者信息:
楊雨鑫1，周 欣1，2，熊淑華1，何小海1，卿粼波1
(1.四川大學(xué) 電子信息學(xué)院，四川 成都610065；2.中國信息安全測評中心，北京100085)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。