脸部识别技术已进入大规模应用,个人信息等隐私问题也越来越受关注,针对隐私保护、躲避和攻击脸部识别系统的研究也陆续出现。
其中有篡改输入脸部识别系统的图片,让AI无法识别图中人脸的,如多伦多大学的《Adversarial Attacks on Face Detectors using Neural Net based Constrained Optimization》。
也有CMU设计的特殊眼镜,戴上后即便经过监控镜头,仍无法识别图片有没有人脸,或识别成他人;且这种掩饰不算夸张,不容易引起别人怀疑(论文《Accessorize to a Crime: Real and Stealthy Attacks on State-of-the- Art Face Recognition》)。
隐藏身份的“换脸”
近日又出现一篇新论文,来自挪威科技大学《DeepPrivacy: A Generative Adversarial Network for Face Anonymization》,从更新、更有挑战性的角度欺骗脸部识别系统:不改变原来数据分散的前提下,将人脸匿名化,通俗地说就是模型导出还是一张脸,姿态和背景也和原图相同,但完全无法识别原来的脸的身份,就是“换了一张脸”。
作者提出的模型DeepPrivacy是条件生成式对抗网络(conditional GAN),构建程序能以原有背景及稀疏的动作标记生成逼真的匿名(其他身份)人脸。构建程序的架构是U-net,用逐步扩大图片的方式最终生成128×128图片。
为了避免泄露个人信息给模型,按照作者的设计,模型输入就直接是经过随机噪声遮挡的人脸,模型完全观察不到任何原有脸部信息。不过,为了保证生成的品质及动作一致,作者仍需要两组简单的图片标记结果:圈出脸部位置的边框,以及(与Mask R-CNN相同)标出耳朵、眼睛、鼻子、肩膀共7个关键点的稀疏姿态估计值。
根据作者的测试,经过模型匿名化的人脸仍保持接近原图的脸部可识别性,普通的脸部识别模型对匿名化后的图片,识别出人脸的平均准确率只相对下降0.7%,而人脸含有的身份信息自然100%不重复。
不同脸部匿名方式对比,左起原图、DeepPrivacy模型遮挡后输入、马赛克、高斯模糊、DeepPrivacy模型导出。
作者也做了一项具前瞻性的工作,那就是整理发布新的多姿态脸部数据集Flickr Diverse Faces。数据集共147万张人脸,并按照这模型输入所需,标出了含脸部位置的边框及7个关键点。数据集的独特之处在于多样性,涵盖许多不同的脸部姿态、部分遮挡、复杂背景、不同的人。
一些Flickr Diverse Faces数据集的人脸样本。
相关研究比较
另外的脸部匿名化结果──左图大家本来可能很熟悉,现在就难认出来了。
论文模型的构建程序设计参考《Progressive Growing of GANs for Improved Quality, Stability, and Variation》论文,从低分辨率的图片开始,逐步提高分辨率、增加细节,最终可同时兼顾图片内容高度协调、高稳定性、高多样性。这种方法是GANs首次生成1,024×1,024大小的高画质图片。作者还一并讨论改进GANs训练过程的技巧。
可能有人已想到,DeepPrivacy所做的“生成匿名逼真人脸”工作,其实就和图片补全(Image Inpainting)高度类似,都是让模型为图片指定区域填补内容。不过图片补全景要补全的不仅是人脸,还包含各种日常物体和场景。也有图片补全研究人员尝试补全人脸的效果,他们在画质解晰度、数据丰富、姿态单一的Celeb-A数据集尝试,结果模型无法生成逼真、身份不同且随机的人脸。
另外,英伟达《A Style-Based Generator Architecture for Generative Adversarial Networks》是CVPR 2019最佳论文之一,也是目前为止生成高清晰度、高多样性人脸效果最好的方法。毋庸置疑,这种方法生成的人脸比DeepPrivacy更逼真,且可生成随机新身份,不过就没办法控制同样的姿态和背景了。
作者认为大企业可能通过这种方法躲避欧盟《通用数据保护条例》(GDPR)的约束。GDPR要求,使用个人的隐私数据时必须定期征得当事人同意;但是当无法根据数据识别定位某个人时,企业无需同意就可使用这些数据。这种脸部匿名化方法就能成为“无法识其他人,进而绕过GDPR限制”的帮手。
不过,在高度遮挡、不常见的角度、复杂背景下,模型还是会出现一些错误的生成结果(扭曲的脸看起来有些可怕)。作者也通过对照试验,说明更大的模型、7个动作关键点的标记都有助于生成更高品质的图片。
Reddit及Twitter的讨论流,有人提出,仅变更脸部不足以完全隐藏身份,有的人(如奥巴马)仅凭发际线就有机会被认出来,加上穿着、场景、身边的人,知名人物被认出来的可能性大大增加;也有人提到,变成随机身份,还不如都用DeepFake把所有的脸换成同一张虚拟人脸,同样可达到无法通过脸部识别确定身份的效果;网友还吐槽为什么要取DeepPrivacy这么俗的名字。