A One-Class Classifier for the Detection of GAN Manipulated Multi-Spectral Satellite Images

要約

現在の画像生成モデルによって実現される非常にリアルな画像品質は、多くの学術および産業用途に利用されています。
ただし、そのようなモデルの使用を無害なアプリケーションに限定するには、画像が合成的に生成されたかどうかを最終的に検出するツールを開発する必要があります。
このため、コンピューター ビジョン アプリケーションで優れたパフォーマンスを提供するいくつかの検出器が開発されていますが、マルチスペクトル衛星画像にそのまま適用することはできないため、新しいモデルをトレーニングする必要があります。
一般に、2 クラス分類器は非常に優れた検出精度を達成できますが、トレーニング中に使用されたものとは異なる画像ドメインや生成モデル アーキテクチャに一般化することはできません。
このため、この論文では、2 クラス分類器の制限を克服するために、ベクトル量子化変分オートエンコーダー 2 (VQ-VAE 2) 機能に基づく 1 クラス分類器を提案します。
まず、複数のマルチスペクトル データセットで EfficientNet-B4 アーキテクチャをトレーニングおよびテストすることによって、バイナリ分類器が悩まされる一般化問題を強調します。
次に、VQ-VAE 2 ベースの分類器は元の画像のみでトレーニングされるため、異なるドメインに属する画像やトレーニング中に使用されなかったアーキテクチャによって生成された画像を検出できることを示します。
最後に、生成された同じデータセット上で 2 つの分類器を直接比較し、VQ-VAE 2 ベースの検出器の優れた一般化機能を強調します。

要約(オリジナル)

The highly realistic image quality achieved by current image generative models has many academic and industrial applications. To limit the use of such models to benign applications, though, it is necessary that tools to conclusively detect whether an image has been generated synthetically or not are developed. For this reason, several detectors have been developed providing excellent performance in computer vision applications, however, they can not be applied as they are to multispectral satellite images, and hence new models must be trained. In general, two-class classifiers can achieve very good detection accuracies, however they are not able to generalise to image domains and generative models architectures different than those used during training. For this reason, in this paper, we propose a one-class classifier based on Vector Quantized Variational Autoencoder 2 (VQ-VAE 2) features to overcome the limitations of two-class classifiers. First, we emphasize the generalization problem that binary classifiers suffer from by training and testing an EfficientNet-B4 architecture on multiple multispectral datasets. Then we show that, since the VQ-VAE 2 based classifier is trained only on pristine images, it is able to detect images belonging to different domains and generated by architectures that have not been used during training. Last, we compare the two classifiers head-to-head on the same generated datasets, highlighting the superiori generalization capabilities of the VQ-VAE 2-based detector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google