关于检测数字人脸操纵
关于检测数字人脸操纵
1. 摘要
先进的人脸合成和修改方法导致假脸越来越多，这极大影响了人们的社交使用。因此，人脸图像的检测和修改区域定位是很重要的。这篇论文使用多任务学习来同时检测被修改的图像和预测被修改的区域，并利用注意力机制来处理和改进分类任务的特征图，提高了分类准确率。
2. 介绍
人脸识别越来越多地应用于日常生活中，如访问权限控制和货币支付等。然而，这也导致了，如果人脸识别技术无法保证安全性，一些恶意的行为会给用户造成很大损失。
如图1所示，面部伪造攻击主要有三种类型。
i) 物理欺骗攻击：将人脸打印到纸上、利用手机上的图像或视频，利用3D mask技术修改。 ii) 对抗性人脸攻击：产生高质量的、感知上不易察觉的对抗性图像，这种图像可以通过可以自动人脸匹配器。 iii) 数字操纵攻击：利用变分自编码器(VAEs)和生成对抗网络(GANs)，可以生成全部或部分修改过的逼真的人脸图像。
本论文中主要针对第三类假脸合成或修改技术。
数字人脸操作方法分为四类:表情交换、身份交换、属性操作和全脸合成(如图2)。表情交换时更换一种表情，身份交换是将另一个人的脸替换归来。属性操作修改了一张脸的单个或多个属性，如性别、年龄、肤色、头发和眼镜。
3.方法
3.1 注意力图的动机
注意力图中的每个像素都会计算出它的接收域对应于原输入图像中一个被修改区域的概率。数字取证技术证明了：通过算法处理来检测这些高频信息中的异常的可行性。该论文将注意力图插入到主干网络中，其中接受域对应于适当大小的原图像区域。然后，使用注意力图之前的特征编码对应的高频指纹patch，从而在局部水平上区分真实区域和被操作区域。同时，还在注意力图的构建和开发过程中，考虑了三个主要因素：可解释性，有用性，模块化。
3.2 Attention-based Layer
如图3所示，基于注意的层可以应用于分类模型的任意特征映射，将网络的注意力集中在识别区域上。其中，基于注意层的输入为卷积特征映射F∈RH×W×C，其中H、W、C分别为高度、宽度和信道数。为了简单起见，忽略了C（较小）的影响。然后通过处理F可以生成一个注意力图Matt=Φ(F)∈RH×W,Φ(·)表示处理操作。注意力模块的输出为:
注意力图中每个像素的强度对于真实区域接近于0，对于虚假区域接近于1。这有助于后续的主干网将其处理集中在注意力图的非零区域，即，假区域。
Φ(·)的具体实现：
操作外观模型(MAM)：假设任何经过处理的图都可以表示为一组图原型的线性组合:
其中M-∈R(H·W)×1,A∈R(H·W)×n是预定义平均图和基函数。因此注意力图可以为每个训练图像翻译估计权重参数α∈Rn×1。
直接回归: 通过卷积操作f: 
f可以由多个卷积层或单个卷积层组成。这种直接回归方法简单有效，适用于自适应特征提取。
3.3 损失函数
为了训练二分类网络，可以从一个预先训练好的主干网络开始，或者从头开始学习主干。不管怎样，总的训练损失是:
Lclassifier是二进制Softmax分类损失,Lmap是注意力图的损失, λ是损失权重。
对于注意力图学习，该论文考虑了三种不同的情况: 有监督、弱监督的和无监督。
监督学习方式：如果训练样本与ground truth manipulation mask成功配对，该论文可以使用（4）以监督的方式对网络进行训练。
其中Mgt是ground truth manipulation mask。该论文使用zero-maps作为真实面孔的Mgt，one-maps作为完全合成的假面孔的Mgt。
弱监督学习：对于部分处理过的脸，有时源图像是不可用的。因此，该论文无法获得上面所述的ground truth manipulation mask。然而，仍然希望在学习注意力图时包括这些面孔。为此，在（5）中提出了一个弱监督图损失。
无监督学习：该模型也可适用于无监督学习方式（λ = 0）。在只有图像级分类监督的情况下，注意力图将自动学习信息区域。
4.数据集与实验结果
在第1节中，介绍了四种主要的面部操作类型:身份交换、表情交换、属性操作和合成脸。因此，通过采用各自的最先进方法来生成假图像，从而共收集了来自四类数字人脸操作的260万张图像的假脸数据集(DFFD)。其中，47.7%来自男性受试者，52.3%来自女性受试者，大部分样本来自21-50岁的受试者。
5.结论
该论文解决了数字处理的人脸图像检测和定位任务。该论文提出的方法利用注意机制来处理检测模型的特征图。学习后的注意力图突出了提高检测能力的信息区域，也突出了被操纵的面部区域。此外，还收集了第一个包含不同类型的假脸的面部伪造数据集。最后，通过实验证明，注意机制的使用改善了面部伪造检测和操纵面部区域定位。
代码和数据库可从cvlab.cse.msu.edu/project-ffd.html获得。