理工酷

针对Deepfake假脸视频面部细节特征的提取算法

一、研究意义

网上多数 Deepfake 是用于色情政治等方面的恶搞行为。对于知名度很高的明星来说，人们知道不是其本人，所以影响并不是很大。但对于普通人或者知名度比较低的女星来说，与其相关的 Deepfake 视频的影响将会使其名誉受损，难以自辩。而政治方面的影响将会更加严重，比如挑起矛盾，引发战火等等。对 Deepfake 假脸视频的面部细节特征提取算法的研究，首先是提取视频图像的面部特征，能够挖掘合成视频与原始视频的差异，可以更好地判别真假视频。这将对Deepfake 犯罪形成一定的威慑力，营造更好的社会环境。

二、研究内容及结果

1.本次实验所提取的 SURF 特征和 ELA 特征都是比较新颖的特征，国内外有所研究但很少与检测 Deepfake 视频联系起来，本次实验导师提出将这几个方面结合起来，实验效果表现良好。

2.SURF 特征和 ELA 特征的提取都十分方便。一是原理简单易懂：SURF 有两大提高运算的法宝：integral images, box filters 在 Hessian 矩阵上的使用，降维特Descriptors的使用；ELA 利用 JPEG 全图相同压缩率的特点做差对比。二是有现成的库函数可以实现这两个特征的提取工作。

3.相较于其他特征，以上两种特征还有如下优势：提取以上两种特征所得到的数据量很少：当图像大小为 256×256 时，前者每幅图像为4×n 个（n 为特征点数量），后者每幅图像为65536 个。但这些数据量足以用于训练 SVM 分类器和用于 SVM 分类器检测。

原图及效果图

三、目录

摘要...............................................................................................................................II Abstract.......................................................................................................................III 目录.............................................................................................................................IV 第一章绪论.................................................................................................................. 1 1.1 GAN 简介.............................................................................................................. 1 1.2 Deepfake 简介......................................................................................................1 1.3 研究背景及意义 ................................................................................................... 2 1.3.1 研究背景........................................................................................................... 2 1.3.2 研究意义........................................................................................................... 3 1.4 国内外研究现状 ................................................................................................... 3 1.5 论文结构 ...............................................................................................................5 第二章 相关工作..........................................................................................................6 2.1 图像人脸提取方法的比较 ......................................................................................6 2.1.1 方法简介........................................................................................................... 6 2.1.2 实验对比........................................................................................................... 7 2.2 视频分帧存图的实现 ............................................................................................9 2.3 颜色直方图简介 ..................................................................................................10 2.4 SURF 概念原理简介 ...........................................................................................12 2.5 ELA 概念原理简介...............................................................................................13 2.6 SVM 概念原理简介........................................................................................... 15 2.6.1 线性可分......................................................................................................... 16 2.6.2 线性不可分..................................................................................................... 16 2.6.3 其他相关概念................................................................................................. 16 2.7 总体实验流程图 ............................................................................................... 17 2.8 本章小结 ............................................................................................................18 第三章 特征提取与分类........................................................................................... 19 3.1 颜色直方图代码实现介绍 .................................................................................. 19 3.2 SURF 代码实现介绍 ........................................................................................ 20 3.3 ELA 代码实现介绍............................................................................................24 3.4 SVM 代码实现介绍.......................................................................................... 26 3.5 本章小结 ............................................................................................................28 第四章 实验结果与分析........................................................................................... 29 4.1 视频分帧存图结果展示 ................................................................................... 29 4.2 人脸提取结果展示 ...........................................................................................30 4.3 颜色直方图特征提取结果展示 ............................................................................ 31 4.4 SURF 特征提取结果展示 ................................................................................... 34 4.5 ELA 特征提取结果展示........................................................................................ 36 4.6 SVM 分类效果展示...............................................................................................38 4.7 实验结果分析 .......................................................................................................39 4.8 本章小结 ............................................................................................................. 45 第五章 总结与展望..................................................................................................... 46 5.1 优势分析 ..............................................................................................................46 5.2 劣势总结 ............................................................................................................. 46 5.3 工作展望 ............................................................................................................ 47 参考文献.....................................................................................................................48 致谢............................................................................................................................52

via:https://github.com/Allenem/graduation-design