Evaluating Evidence Attribution in Generated Fact Checking Explanations

要約

自動化されたファクトチェックシステムは、生成された説明には幻覚が含まれる可能性があるため、しばしば信頼性と格闘しています。
この作業では、事実確認の説明生成に関する証拠の帰属を探ります。
生成された説明の帰属品質を評価するために、新しい評価プロトコル（引用マスキングと回復）を紹介します。
ヒトアノテーターと自動アノテーターの両方を使用してプロトコルを実装し、LLMアノテーションがヒトアノテーションと相関していることを発見し、帰属評価を自動化できることを示唆しています。
最後に、私たちの実験は、次のことが明らかになりました。（1）最高のパフォーマンスのLLMは、不正確な帰属で説明を生成します。
（2）より良い説明を生成するには、人間がキュレーションした証拠が不可欠です。
コードとデータは、https：//github.com/ruixing76/transparent-fcexpで入手できます。

要約(オリジナル)

Automated fact-checking systems often struggle with trustworthiness, as their generated explanations can include hallucinations. In this work, we explore evidence attribution for fact-checking explanation generation. We introduce a novel evaluation protocol — citation masking and recovery — to assess attribution quality in generated explanations. We implement our protocol using both human annotators and automatic annotators, and find that LLM annotation correlates with human annotation, suggesting that attribution assessment can be automated. Finally, our experiments reveal that: (1) the best-performing LLMs still generate explanations with inaccurate attributions; and (2) human-curated evidence is essential for generating better explanations. Code and data are available here: https://github.com/ruixing76/Transparent-FCExp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google