DEFAME: Dynamic Evidence-based FAct-checking with Multimodal Experts

要約

偽情報の拡散は、信頼性が高くスケーラブルな事実確認ソリューションを必要とします。
オープンドメインのモジュール式ゼロショットMLLMパイプラインであるマルチモーダルの専門家（Defame）との動的なエビデンスに基づいたファクトチェックを提示します。
Defameは6段階のプロセスで動作し、ツールと検索の深さを動的に選択して、テキストおよび視覚的証拠を抽出および評価します。
テキストのみ、説明の欠如、またはパラメトリック知識のみに依存している以前のアプローチとは異なり、Defameはエンドツーエンドの検証を実行し、構造化されたマルチモーダルレポートを生成しながら、クレームと証拠の画像を説明します。
人気のあるベンチマークでの評価Verite、Averitec、およびMochegの評価は、Defameが以前のすべての方法を上回り、ユニットおよびマルチモーダルのファクトチェックの新しい最先端のファクトチェックシステムとしての地位を確立することを示しています。
さらに、データの漏れを避けるためにGPT4Oの知識のカットオフ後の主張を特徴とする新しいベンチマーク請求review24+を紹介します。
ここで、DefameはGPTチェーンオブテアのベースラインを大幅に上回り、一時的な一般化可能性とリアルタイムのファクトチェックの可能性を示しています。

要約(オリジナル)

The proliferation of disinformation demands reliable and scalable fact-checking solutions. We present Dynamic Evidence-based FAct-checking with Multimodal Experts (DEFAME), a modular, zero-shot MLLM pipeline for open-domain, text-image claim verification. DEFAME operates in a six-stage process, dynamically selecting the tools and search depth to extract and evaluate textual and visual evidence. Unlike prior approaches that are text-only, lack explainability, or rely solely on parametric knowledge, DEFAME performs end-to-end verification, accounting for images in claims and evidence while generating structured, multimodal reports. Evaluation on the popular benchmarks VERITE, AVerITeC, and MOCHEG shows that DEFAME surpasses all previous methods, establishing itself as the new state-of-the-art fact-checking system for uni- and multimodal fact-checking. Moreover, we introduce a new benchmark, CLAIMREVIEW24+, featuring claims after the knowledge cutoff of GPT4o to avoid data leakage. Here, DEFAME drastically outperforms the GPT Chain-of-Thought baseline, demonstrating temporal generalizability and the potential for real-time fact-checking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google