Omni-IML: Towards Unified Image Manipulation Localization

要約

既存の画像操作のローカリゼーション（IML）メソッドは、主にタスク固有の設計に大きく依存しており、ターゲットIMLタスクでのみパフォーマンスを発揮しますが、複数のIMLタスクでの共同トレーニングは大きなパフォーマンスの劣化を引き起こし、実際のアプリケーションを妨げます。
この目的のために、私たちは、多様なタスク全体でIMLを統一するように設計された最初のジェネラリストモデルであるOmni-IMLを提案します。
具体的には、OMNI-IMLは、3つの重要なコンポーネントを介して一般化を実現します。（1）サンプルごとの最適なエンコーディングモダリティを適応的に選択するモーダルゲートエンコーダー、（2）デコーダーフィルターを手元のタスクに動的に調整する動的な重量デコーダー、および（3）アノマリー強化モジュールを習得するための監視を強調するために、その異常な拡張モジュールを強化するために、その異常な拡張モジュールを強化します。
特徴。
ローカリゼーションを超えて、改ざんされた画像の解釈をサポートするために、改ざんされたアーティファクトの自然言語の説明を含む大規模な高品質のデータセットであるOMNI-273Kを構築します。
これは、自動、チェーンオブシェアの注釈手法を通じて注釈が付けられています。
また、これらの記述的注釈をよりよく利用するために、シンプルな効果的な解釈モジュールを設計します。
当社の広範な実験は、単一のOMNI-IMLモデルが4つの主要なIMLタスクすべてにわたって最先端のパフォーマンスを達成し、実用的な展開のための貴重なソリューションと画像法医学におけるジェネラリストモデルの有望な方向性を提供することを示しています。
コードとデータセットは公開されます。

要約(オリジナル)

Existing Image Manipulation Localization (IML) methods mostly rely heavily on task-specific designs, making them perform well only on the target IML task, while joint training on multiple IML tasks causes significant performance degradation, hindering real applications. To this end, we propose Omni-IML, the first generalist model designed to unify IML across diverse tasks. Specifically, Omni-IML achieves generalization through three key components: (1) a Modal Gate Encoder, which adaptively selects the optimal encoding modality per sample, (2) a Dynamic Weight Decoder, which dynamically adjusts decoder filters to the task at hand, and (3) an Anomaly Enhancement module that leverages box supervision to highlight the tampered regions and facilitate the learning of task-agnostic features. Beyond localization, to support interpretation of the tampered images, we construct Omni-273k, a large high-quality dataset that includes natural language descriptions of tampered artifact. It is annotated through our automatic, chain-of-thoughts annotation technique. We also design a simple-yet-effective interpretation module to better utilize these descriptive annotations. Our extensive experiments show that our single Omni-IML model achieves state-of-the-art performance across all four major IML tasks, providing a valuable solution for practical deployment and a promising direction of generalist models in image forensics. Our code and dataset will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google