Spritz-PS: Validation of Synthetic Face Images Using a Large Dataset of Printed Documents

要約

タイトル: 印刷されたドキュメントの大規模データセットを利用した合成顔画像の検証

要約:
– 印刷されたスキャン（PS）イメージの有効な法科学的解析能力は、多くのアプリケーションにおいて重要である。
– 合成画像は、通常操作された画像にあるようなアーティファクトを含んでいるため、PSドキュメントではこれらのアーティファクトを隠すために使用される。
– Generative Adversarial Networks（GAN）の魅力により、GANモデルで生成された合成顔画像は、本物の人間の顔と区別するのが困難であり、偽の身元証明書を作成するために使用される可能性がある。
– GANモデルは、人間の顔を生成するための生理的制約を考慮していないため、PSシナリオにおいて本物と合成のIRISを区別することは非常に困難である。
– そのため、大規模な参照IRISデータセットが不足しているPSシナリオで、Multimedia Forensics（MFs）調査の標準になるための新しいデータセットの開発を目指している。
– 新しいデータセットは、VIPPrint印刷されたスキャンされた顔画像から構成され、合成画像と自然に撮影されたIRISの大量のデータを抽出した。
– 抽出したIRISについては、まばたきによる不完全なIRISのキャプチャが発生している可能性があるため、欠落しているピクセルを補完する技術を適用した。
– データセットのIRISイメージの評価に関する問題を強調するために、ResNet50、Xception、VGG16、およびMobileNet-v2などのSiamese Neural Networksを使用した大量の分析を実施した。
– たとえば、Xceptionネットワークを使用して、合成画像のIRISの類似度は56.76\%であり、実際の画像のIRISの類似度は92.77\%であった。

要約(オリジナル)

The capability of doing effective forensic analysis on printed and scanned (PS) images is essential in many applications. PS documents may be used to conceal the artifacts of images which is due to the synthetic nature of images since these artifacts are typically present in manipulated images and the main artifacts in the synthetic images can be removed after the PS. Due to the appeal of Generative Adversarial Networks (GANs), synthetic face images generated with GANs models are difficult to differentiate from genuine human faces and may be used to create counterfeit identities. Additionally, since GANs models do not account for physiological constraints for generating human faces and their impact on human IRISes, distinguishing genuine from synthetic IRISes in the PS scenario becomes extremely difficult. As a result of the lack of large-scale reference IRIS datasets in the PS scenario, we aim at developing a novel dataset to become a standard for Multimedia Forensics (MFs) investigation which is available at [45]. In this paper, we provide a novel dataset made up of a large number of synthetic and natural printed IRISes taken from VIPPrint Printed and Scanned face images. We extracted irises from face images and it is possible that the model due to eyelid occlusion captured the incomplete irises. To fill the missing pixels of extracted iris, we applied techniques to discover the complex link between the iris images. To highlight the problems involved with the evaluation of the dataset’s IRIS images, we conducted a large number of analyses employing Siamese Neural Networks to assess the similarities between genuine and synthetic human IRISes, such as ResNet50, Xception, VGG16, and MobileNet-v2. For instance, using the Xception network, we achieved 56.76\% similarity of IRISes for synthetic images and 92.77% similarity of IRISes for real images.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI