AI-Generated Image Detection using a Cross-Attention Enhanced Dual-Stream Network

要約

AI 生成コンテンツ (AIGC) の急速な進化に伴い、このテクノロジーを通じて生成された偽造画像は本質的により欺瞞的であり、従来のコンピューター生成グラフィックス (CG) と比較して人間の介入が少なくなります。
しかし、CG と AIGC の間には差異があるため、従来の CG 検出方法では AIGC で生成された画像を識別するのが不十分になる傾向があります。
この問題に対処するために、私たちの研究は AIGC におけるテキストから画像への生成プロセスに焦点を当てています。
まず、DALLE2 と DreamStudio という 2 つの異なる AI システムを利用して、2 つのテキストから画像へのデータベースを構築します。
AIGC によって生成される固有の異常を総合的に捕捉することを目的として、残留ストリームとコンテンツ ストリームで構成される堅牢なデュアル ストリーム ネットワークを開発します。
前者は空間リッチ モデル (SRM) を使用して画像からさまざまなテクスチャ情報を細心の注意を払って抽出しますが、後者は低周波で追加の偽造痕跡をキャプチャしようとするため、残留ストリームが見落とす可能性のある補完情報を抽出します。
これら 2 つのストリーム間の情報交換を強化するために、クロス マルチヘッド アテンション メカニズムを組み込みます。
両方のデータベースに対して多数の比較実験が行われ、その結果、さまざまな画像解像度にわたって、当社の検出方法が従来の CG 検出技術よりも一貫して優れていることがわかりました。
さらに、私たちの方法は、一連の堅牢性テストとクロスデータベース実験を通じて優れたパフォーマンスを示します。
SPL2018 や DsTok などの広く知られている従来の CG ベンチマークに適用すると、私たちのアプローチは CG 検出の分野における他の既存の方法の能力を大幅に上回ります。

要約(オリジナル)

With the rapid evolution of AI Generated Content (AIGC), forged images produced through this technology are inherently more deceptive and require less human intervention compared to traditional Computer-generated Graphics (CG). However, owing to the disparities between CG and AIGC, conventional CG detection methods tend to be inadequate in identifying AIGC-produced images. To address this issue, our research concentrates on the text-to-image generation process in AIGC. Initially, we first assemble two text-to-image databases utilizing two distinct AI systems, DALLE2 and DreamStudio. Aiming to holistically capture the inherent anomalies produced by AIGC, we develope a robust dual-stream network comprised of a residual stream and a content stream. The former employs the Spatial Rich Model (SRM) to meticulously extract various texture information from images, while the latter seeks to capture additional forged traces in low frequency, thereby extracting complementary information that the residual stream may overlook. To enhance the information exchange between these two streams, we incorporate a cross multi-head attention mechanism. Numerous comparative experiments are performed on both databases, and the results show that our detection method consistently outperforms traditional CG detection techniques across a range of image resolutions. Moreover, our method exhibits superior performance through a series of robustness tests and cross-database experiments. When applied to widely recognized traditional CG benchmarks such as SPL2018 and DsTok, our approach significantly exceeds the capabilities of other existing methods in the field of CG detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google