Mitigating GenAI-powered Evidence Pollution for Out-of-Context Multimodal Misinformation Detection

要約

大規模な生成的人工知能（Genai）モデルは大幅に成功しましたが、欺cept的な内容を生成する潜在的な誤用のために、オンライン情報セキュリティに関する懸念の高まりも高まっています。
コンテキスト外（OOC）マルチモーダル誤った情報検出は、多くの場合、誤ったコンテキストで画像の再利用を識別するためにWebの証拠を取得しますが、正確な予測を導き出すためにgenaiが汚染した証拠に対する推論の問題に直面しています。
既存の作品は、言語的手がかりを隠し、そのような情報を求めるアプリケーションの証拠レベルの汚染を無視するために文体的な書き換えで、クレームレベルでgenaiを搭載した汚染をシミュレートします。
この作業では、汚染された証拠が既存のOOC検出器のパフォーマンスにどのように影響するかを調査し、9パーセントポイントを超えるパフォーマンス劣化を明らかにします。
汚染された証拠によってもたらされる課題に対処するために、2つの戦略、クロスモーダルの証拠リランキングとクロスモーダルの請求の推論を提案します。
2つのベンチマークデータセットでの広範な実験は、これらの戦略が汚染された証拠の中で既存のコンテキスト検出器の堅牢性を効果的に強化できることを示しています。

要約(オリジナル)

While large generative artificial intelligence (GenAI) models have achieved significant success, they also raise growing concerns about online information security due to their potential misuse for generating deceptive content. Out-of-context (OOC) multimodal misinformation detection, which often retrieves Web evidence to identify the repurposing of images in false contexts, faces the issue of reasoning over GenAI-polluted evidence to derive accurate predictions. Existing works simulate GenAI-powered pollution at the claim level with stylistic rewriting to conceal linguistic cues, and ignore evidence-level pollution for such information-seeking applications. In this work, we investigate how polluted evidence affects the performance of existing OOC detectors, revealing a performance degradation of more than 9 percentage points. We propose two strategies, cross-modal evidence reranking and cross-modal claim-evidence reasoning, to address the challenges posed by polluted evidence. Extensive experiments on two benchmark datasets show that these strategies can effectively enhance the robustness of existing out-of-context detectors amidst polluted evidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google