Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection

要約

最近、さまざまな敵対的生成ネットワークによって生成される、ますます現実的な合成画像の急増により、悪用のリスクが増加しています。
したがって、偽画像を正確に認識するための汎用化可能な検出器を開発することが急務となっている。
従来の方法は、多様なトレーニング ソースまたは大規模な事前トレーニング済みモデルの生成に依存しています。
この研究では、逆に、より一般的なアーティファクト表現を捕捉するには、小さくトレーニング不要のフィルターで十分であることを示します。
トレーニング ソースとテスト ソースの両方に対する偏りがないため、目に見えないソースで魅力的な改善を達成するために、これをデータ独立オペレーター (DIO) として定義します。
私たちのフレームワークでは、手作りのフィルターとランダムに初期化された畳み込み層をトレーニング不要のアーティファクト表現抽出器として使用でき、優れた結果が得られます。
Resnet50 などの人気のある分類器のデータに依存しない演算子を使用すれば、付加機能なしで新しい最先端の技術にすでに到達できるでしょう。
DALLE や Midjourney を含む 33 世代モデルでの DIO の有効性を評価します。
当社の検出器は $13.3\%$ の大幅な改善を達成し、新たな最先端の性能を確立しました。
DIO とその拡張機能は、将来のメソッドの強力なベースラインとして機能します。
コードは \url{https://github.com/chuangchuangtan/Data-Independent-Operator} で入手できます。

要約(オリジナル)

Recently, the proliferation of increasingly realistic synthetic images generated by various generative adversarial networks has increased the risk of misuse. Consequently, there is a pressing need to develop a generalizable detector for accurately recognizing fake images. The conventional methods rely on generating diverse training sources or large pretrained models. In this work, we show that, on the contrary, the small and training-free filter is sufficient to capture more general artifact representations. Due to its unbias towards both the training and test sources, we define it as Data-Independent Operator (DIO) to achieve appealing improvements on unseen sources. In our framework, handcrafted filters and the randomly-initialized convolutional layer can be used as the training-free artifact representations extractor with excellent results. With the data-independent operator of a popular classifier, such as Resnet50, one could already reach a new state-of-the-art without bells and whistles. We evaluate the effectiveness of the DIO on 33 generation models, even DALLE and Midjourney. Our detector achieves a remarkable improvement of $13.3\%$, establishing a new state-of-the-art performance. The DIO and its extension can serve as strong baselines for future methods. The code is available at \url{https://github.com/chuangchuangtan/Data-Independent-Operator}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google