Towards Effective Extraction and Evaluation of Factual Claims

要約

大規模な言語モデル（LLMS）によって生成される長い形式のコンテンツを事実確認するための一般的な戦略は、独立して検証できる単純な主張を抽出することです。
不正確または不完全なクレームは、事実確認の結果を妥協するため、クレームの質が重要であることを確認します。
ただし、標準化された評価フレームワークの欠如は、評価とクレーム抽出方法の比較を妨げます。
このギャップに対処するために、事実チェックのコンテキストでクレーム抽出を評価するためのフレームワークを提案し、カバレッジと非文脈化を測定するための新しいアプローチを含む、このフレームワークを適用するための自動化されたスケーラブルで複製可能な方法を適用します。
また、LLMベースのクレーム抽出方法であるCrayifyを紹介し、評価フレームワークの下で既存の方法よりも優れていることを実証します。
請求の重要な特徴は、ソーステキストの正しい解釈に高い信頼がある場合にのみ、あいまいさを処理し、クレームを抽出する能力です。

要約(オリジナル)

A common strategy for fact-checking long-form content generated by Large Language Models (LLMs) is extracting simple claims that can be verified independently. Since inaccurate or incomplete claims compromise fact-checking results, ensuring claim quality is critical. However, the lack of a standardized evaluation framework impedes assessment and comparison of claim extraction methods. To address this gap, we propose a framework for evaluating claim extraction in the context of fact-checking along with automated, scalable, and replicable methods for applying this framework, including novel approaches for measuring coverage and decontextualization. We also introduce Claimify, an LLM-based claim extraction method, and demonstrate that it outperforms existing methods under our evaluation framework. A key feature of Claimify is its ability to handle ambiguity and extract claims only when there is high confidence in the correct interpretation of the source text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google