GraphCheck: Multi-Path Fact-Checking with Entity-Relationship Graphs

要約

自動化されたファクトチェックは、関連する証拠に基づいてテキストの主張の真実性を評価することを目的としています。
ただし、マルチホップの推論を必要とする複雑なクレームを検証することは、依然として重要な課題です。
GraphCheckを提案します。GraphCheckは、クレームを構造化された体系的な検証のためにエンティティ関連グラフに変換する新しいフレームワークです。
明示的なエンティティと潜在エンティティの両方を明示的にモデル化し、複数の推論パスを探索することにより、GraphCheckは検証の堅牢性を向上させます。
GraphCheckは複雑なシナリオに優れていますが、より単純な主張については不必要に精巧になる可能性があります。
これに対処するために、ダイレクトプロンプトとGraphCheckを適応的に選択するために軽量戦略セレクターを使用するバリアントであるDP-Graphcheckを紹介します。
この選択的メカニズムは、各クレームに適切なレベルの推論を適用することにより、精度と効率の両方を改善します。
ホバーデータセットと元フェバーデータセットでの実験は、特にマルチホップのクレームで、既存の方法よりも優れていることを示しています。
さらに、DP-Graphcheckの戦略選択メカニズムは、他の事実確認パイプラインによく一般的になり、フレームワークの汎用性を強調しています。

要約(オリジナル)

Automated fact-checking aims to assess the truthfulness of textual claims based on relevant evidence. However, verifying complex claims that require multi-hop reasoning remains a significant challenge. We propose GraphCheck, a novel framework that transforms claims into entity-relationship graphs for structured and systematic verification. By explicitly modeling both explicit and latent entities and exploring multiple reasoning paths, GraphCheck improves verification robustness. While GraphCheck excels in complex scenarios, it may be unnecessarily elaborate for simpler claims. To address this, we introduce DP-GraphCheck, a variant that employs a lightweight strategy selector to adaptively choose between direct prompting and GraphCheck. This selective mechanism improves both accuracy and efficiency by applying the appropriate level of reasoning to each claim. Experiments on the HOVER and EX-FEVER datasets demonstrate that our approach outperforms existing methods, particularly on multi-hop claims. Moreover, the strategy selection mechanism in DP-GraphCheck generalizes well to other fact-checking pipelines, highlighting the versatility of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google