CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs

要約

デジタルメディアとAIに生成されたコンテンツによって駆動される誤った情報の急速な広がりにより、自動請求検証が不可欠になりました。
専門家が解決した証拠に依存する従来の方法は、労働集約的であり、スケーラブルではありません。
最近の自動化されたシステムは改善されていますが、微妙な推論を必要とする複雑な主張と依然として闘っています。
これに対処するために、私たちは、大規模な言語モデル（LLM）によって推論される矛盾する合理的根拠に基づいて複雑な主張を検証する、説明可能な主張の検証のための対立する推論アプローチであるCraveを提案します。
具体的には、Craveは3モジュールフレームワークを導入します。
Amviguity Elimination Enchanced Evediment Moduleは、Wikipediaのような外部ソースからのクレーム検証に関連する関連する証拠を収集するために、あいまいさの排除とエンティティベースの検索を実行します。
矛盾する視点の推論とLLMSを備えた予備判断モジュールは、4つの次元にわたる検索された証拠からの主張の検証、すなわち直接的な証拠、意味関係、言語パターン、および論理的推論と予備的な判断を下すために、矛盾した姿勢を持つ推論の合理的根拠を持つLLMを採用します。
最後に、小言語モデル（SLM）ベースの裁判官モジュールは、LLMSからの予備的な判断を利用して、矛盾する理論的根拠の信頼を評価し、最終的な信頼性の判断を下すために微調整されています。
この方法論により、Craveは複雑な主張で微妙な矛盾を捉えることができ、請求検証の精度と透明性の両方を改善することができます。
2つの公開請求検証データセットでの広範な実験は、Craveモデルが最先端の方法よりもはるかに優れたパフォーマンスを達成し、関連する証拠を見つけてモデルの予測を説明するための優れた能力を示すことを示しています。
コードはhttps://github.com/8zym/craveで提供されています。

要約(オリジナル)

The rapid spread of misinformation, driven by digital media and AI-generated content, has made automatic claim verification essential. Traditional methods, which depend on expert-annotated evidence, are labor-intensive and not scalable. Although recent automated systems have improved, they still struggle with complex claims that require nuanced reasoning. To address this, we propose CRAVE, a Conflicting Reasoning Approach for explainable claim VErification, that verify the complex claims based on the conflicting rationales reasoned by large language models (LLMs). Specifically, CRAVE introduces a three-module framework. Ambiguity Elimination enchanced Evidence Retrieval module performs ambiguity elimination and entity-based search to gather relevant evidence related to claim verification from external sources like Wikipedia. Conflicting Perspective Reasoning and Preliminary Judgment module with LLMs adopts LLMs to reason rationales with conflicting stances about claim verification from retrieved evidence across four dimensions, i.e., direct evidence, semantic relationships, linguistic patterns, and logical reasoning and make a preliminary judgment. Finally, Small Language Model (SLM) based Judge module is fine-tuned to make use of preliminary judgment from LLMs to assess the confidence of the conflicting rationales and make a final authenticity judgment. This methodology allows CRAVE to capture subtle inconsistencies in complex claims, improving both the accuracy and transparency of claim verification. Extensive experiments on two public claim verification datasets demonstrate that our CRAVE model achieves much better performance than state-of-the-art methods and exhibits a superior capacity for finding relevant evidence and explaining the model predictions. The code is provided at https://github.com/8zym/CRAVE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google