Step-by-Step Fact Verification System for Medical Claims with Explainable Reasoning

要約

事実検証（FV）は、関連する証拠に基づいた主張の真実性を評価することを目指しています。
自動化されたFVの従来のアプローチには、短い証拠スニペットとエンコーダのみの推論モデルに依存する3部構成のパイプラインが含まれます。
より最近のアプローチは、LLMSのマルチターンの性質を活用して、FVを段階的な問題として対処するために、追加のコンテキストを調査する質問が生成され、決定を下すのに十分な情報があるまで回答されます。
この反復方法により、検証プロセスが合理的かつ説明可能になります。
これらの方法は百科事典の主張についてテストされていますが、ドメイン固有の現実的な主張に関する調査はありません。
この作業では、3つの医学的事実チェックデータセットに反復FVシステムを適用し、異なるLLM、外部Web検索、ロジック述語を使用した構造化された推論を含む複数の設定で評価します。
従来のアプローチに対する最終パフォーマンスの改善と、ドメイン固有のクレームのための段階的なFVシステムの高い可能性を示しています。

要約(オリジナル)

Fact verification (FV) aims to assess the veracity of a claim based on relevant evidence. The traditional approach for automated FV includes a three-part pipeline relying on short evidence snippets and encoder-only inference models. More recent approaches leverage the multi-turn nature of LLMs to address FV as a step-by-step problem where questions inquiring additional context are generated and answered until there is enough information to make a decision. This iterative method makes the verification process rational and explainable. While these methods have been tested for encyclopedic claims, exploration on domain-specific and realistic claims is missing. In this work, we apply an iterative FV system on three medical fact-checking datasets and evaluate it with multiple settings, including different LLMs, external web search, and structured reasoning using logic predicates. We demonstrate improvements in the final performance over traditional approaches and the high potential of step-by-step FV systems for domain-specific claims.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google