Multimodal Misinformation Detection using Large Vision-Language Models

要約

誤った情報の蔓延とその憂慮すべき影響により、産業界と学界の両方が誤った情報の検出と事実確認のためのアプローチを開発する動機となっています。
大規模言語モデル (LLM) の最近の進歩により、さまざまなタスクで目覚ましいパフォーマンスが示されていますが、LLM が誤情報の検出に役立つかどうか、またどのように役立つかについては、比較的研究が進んでいません。
既存の最先端のアプローチのほとんどは、証拠を考慮せず、クレーム関連の特徴のみに焦点を当てるか、証拠が提供されることを前提としています。
証拠の検索を誤情報検出の一部として考慮し、微調整モデルに依存するアプローチはほとんどありません。
この論文では、ゼロショット設定での誤情報検出に対する LLM の可能性を調査します。
主張の真実性を検出するには、さまざまな情報源から関連情報を収集することが重要であるため、当社では証拠検索コンポーネントをプロセスに組み込んでいます。
この目的を達成するために、LLM とラージ ビジョン言語モデル (LVLM) の両方を使用した、マルチモーダルな証拠検索のための新しい再ランキング アプローチを提案します。
取得された証拠サンプル (画像とテキスト) は、マルチモーダル事実検証のための LVLM ベースのアプローチ (LVLM4FV) の入力として機能します。
公正な評価を可能にするために、画像とテキストの両方の検索について、より完全な証拠サンプルのセットに注釈を付けることで、既存の証拠検索データセット内の証拠サンプルの不完全なグラウンド トゥルースの問題に対処します。
2 つのデータセットに関する実験結果は、証拠検索と事実検証タスクの両方において提案されたアプローチの優位性を示しており、教師付きベースラインと比較してデータセット全体にわたる汎化能力も優れていることを示しています。

要約(オリジナル)

The increasing proliferation of misinformation and its alarming impact have motivated both industry and academia to develop approaches for misinformation detection and fact checking. Recent advances on large language models (LLMs) have shown remarkable performance in various tasks, but whether and how LLMs could help with misinformation detection remains relatively underexplored. Most of existing state-of-the-art approaches either do not consider evidence and solely focus on claim related features or assume the evidence to be provided. Few approaches consider evidence retrieval as part of the misinformation detection but rely on fine-tuning models. In this paper, we investigate the potential of LLMs for misinformation detection in a zero-shot setting. We incorporate an evidence retrieval component into the process as it is crucial to gather pertinent information from various sources to detect the veracity of claims. To this end, we propose a novel re-ranking approach for multimodal evidence retrieval using both LLMs and large vision-language models (LVLM). The retrieved evidence samples (images and texts) serve as the input for an LVLM-based approach for multimodal fact verification (LVLM4FV). To enable a fair evaluation, we address the issue of incomplete ground truth for evidence samples in an existing evidence retrieval dataset by annotating a more complete set of evidence samples for both image and text retrieval. Our experimental results on two datasets demonstrate the superiority of the proposed approach in both evidence retrieval and fact verification tasks and also better generalization capability across dataset compared to the supervised baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google