Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection

要約

自然な画像や顔の画像などのAIに生成された画像（AIGIS）は、ますます現実的で区別できなくなり、検出が重要で差し迫った課題になっています。
この論文では、AIGI検出の障害一般化の背後にある理由を掘り出して、\ textit {非対称現象}という名前の理由を発掘するために始めます。これは、素朴な訓練された検出器が、限られた単調な偽のパターンに過剰留まることを好む傾向があり、
高度に制約され、低ランクになるようにする特徴スペースは、表現力と一般化を深刻に制限することが証明されています。
1つの潜在的な治療法は、Vision Foundation Models（高位）に事前に訓練された知識を組み込み、特徴空間を拡張し、モデルの過剰装着を偽造することです。
この目的のために、私たちは単数の値分解（SVD）を使用して、元の特徴空間を2つの直交部門に分解します。
主成分を凍結し、残りのコンポーネントのみを適応させることにより、偽造関連のパターンを学びながら、事前に訓練された知識を保存します。
既存のフルパラメーターおよびLORAベースのチューニング方法と比較して、フィーチャースペース全体のより高いランクを可能にする直交性を明示的に保証し、過剰適合と拡張を効果的に最小限に抑えます。
DeepfakeとSynthetic Image Detectionベンチマークの両方に関する深い分析を使用した広範な実験は、検出における優れた一般化パフォーマンスを示しています。

要約(オリジナル)

AI-generated images (AIGIs), such as natural or face images, have become increasingly realistic and indistinguishable, making their detection a critical and pressing challenge. In this paper, we start from a new perspective to excavate the reason behind the failure generalization in AIGI detection, named the \textit{asymmetry phenomenon}, where a naively trained detector tends to favor overfitting to the limited and monotonous fake patterns, causing the feature space to become highly constrained and low-ranked, which is proved seriously limiting the expressivity and generalization. One potential remedy is incorporating the pre-trained knowledge within the vision foundation models (higher-ranked) to expand the feature space, alleviating the model’s overfitting to fake. To this end, we employ Singular Value Decomposition (SVD) to decompose the original feature space into two orthogonal subspaces. By freezing the principal components and adapting only the remained components, we preserve the pre-trained knowledge while learning forgery-related patterns. Compared to existing full-parameters and LoRA-based tuning methods, we explicitly ensure orthogonality enabling the higher rank of the whole feature space, effectively minimizing overfitting and enhancing generalization. Extensive experiments with our deep analysis on both deepfake and synthetic image detection benchmarks demonstrate superior generalization performance in detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google