Towards More Accurate Fake Detection on Images Generated from Advanced Generative and Neural Rendering Models

要約

特にニューラル ラディアンス フィールドや 3D ガウス スプラッティングなどのニューラル レンダリング技術を使用したニューラル ネットワーク駆動のビジュアル データ生成の目覚ましい進歩は、GAN や拡散モデルに代わる強力な代替手段を提供します。
これらの方法では、忠実度の高い画像や本物のようなアバターを生成できるため、堅牢な検出方法の必要性が強調されています。
これに応えて、モデルがフーリエ スペクトルの大きさから包括的な特徴を抽出できるようにする教師なしトレーニング手法が提案され、それによって中心対称特性によるスペクトルの再構成の課題を克服します。
スペクトル領域を活用し、それを空間領域情報と動的に組み合わせることで、最新の画像合成技術によって生成された困難な合成画像を識別する際に優れた一般化機能を実証する堅牢なマルチモーダル検出器を作成します。
3D ニューラル レンダリング ベースの偽画像データベースの欠如に対処するために、さまざまなニューラル レンダリング技術によって生成された画像を含む包括的なデータベースを開発し、検出方法を評価および進歩させるための堅牢な基盤を提供します。

要約(オリジナル)

The remarkable progress in neural-network-driven visual data generation, especially with neural rendering techniques like Neural Radiance Fields and 3D Gaussian splatting, offers a powerful alternative to GANs and diffusion models. These methods can produce high-fidelity images and lifelike avatars, highlighting the need for robust detection methods. In response, an unsupervised training technique is proposed that enables the model to extract comprehensive features from the Fourier spectrum magnitude, thereby overcoming the challenges of reconstructing the spectrum due to its centrosymmetric properties. By leveraging the spectral domain and dynamically combining it with spatial domain information, we create a robust multimodal detector that demonstrates superior generalization capabilities in identifying challenging synthetic images generated by the latest image synthesis techniques. To address the absence of a 3D neural rendering-based fake image database, we develop a comprehensive database that includes images generated by diverse neural rendering techniques, providing a robust foundation for evaluating and advancing detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google