FastForensics: Efficient Two-Stream Design for Real-Time Image Manipulation Detection

要約

ポータブル デバイスの人気の高まりに伴い、ソーシャル プラットフォーム上での偽造メディアの拡散が横行しています。
このため、本物のコンテンツをタイムリーに識別することが必要になります。
ただし、ほとんどの高度な検出方法は計算量が多く、リアルタイムの適用が妨げられます。
この論文では、リアルタイムの画像操作検出のための効率的な 2 ストリーム アーキテクチャについて説明します。
私たちの方法は、認知的観点と検査的観点を対象とした 2 つのストリーム分岐で構成されています。
コグニティブ ブランチでは、周波数に関連する全体的な操作トレースをキャプチャするための効率的なウェーブレット ガイド付き Transformer ブロックを提案します。
このブロックには、ウェーブレット変換と効率的なアテンション設計を統合し、検査ブランチからの知識と対話する、インタラクティブなウェーブレット ガイド付きセルフ アテンション モジュールが含まれています。
検査ブランチは、きめの細かいトレースをキャプチャし、Transformer ブロックと双方向に対話して相互サポートを提供する単純な畳み込みで構成されます。
私たちの手法は軽量 ($\sim$ 8M) ですが、他の多くの同等の手法と比較して競争力のあるパフォーマンスを実現し、画像操作検出における有効性とポータブルな統合の可能性を実証しています。

要約(オリジナル)

With the rise in popularity of portable devices, the spread of falsified media on social platforms has become rampant. This necessitates the timely identification of authentic content. However, most advanced detection methods are computationally heavy, hindering their real-time application. In this paper, we describe an efficient two-stream architecture for real-time image manipulation detection. Our method consists of two-stream branches targeting the cognitive and inspective perspectives. In the cognitive branch, we propose efficient wavelet-guided Transformer blocks to capture the global manipulation traces related to frequency. This block contains an interactive wavelet-guided self-attention module that integrates wavelet transformation with efficient attention design, interacting with the knowledge from the inspective branch. The inspective branch consists of simple convolutions that capture fine-grained traces and interact bidirectionally with Transformer blocks to provide mutual support. Our method is lightweight ($\sim$ 8M) but achieves competitive performance compared to many other counterparts, demonstrating its efficacy in image manipulation detection and its potential for portable integration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google