A Comparative Analysis of Faithfulness Metrics and Humans in Citation Evaluation

要約

大規模言語モデル (LLM) は、「幻覚」として知られる、サポートされていないコンテンツや検証できないコンテンツを含むコンテンツを生成することがよくあります。
これに対処するために、検索拡張 LLM を使用してコンテンツに引用を含め、コンテンツを検証可能な情報源に基づいています。
このような発展にもかかわらず、引用が関連する記述をどの程度裏付けているかを手動で評価することは依然として大きな課題です。
これまでの研究では、忠実度メトリクスを活用して引用サポートを自動的に推定することで、この課題に取り組んできました。
ただし、彼らはこの引用サポートの推定をバイナリ分類シナリオに限定しており、実際のシナリオにおけるきめ細かい引用サポートを無視しています。
きめの細かいシナリオでの忠実度指標の有効性を調査するために、完全、部分的、およびサポートなしの 3 つのカテゴリのサポート レベル間の引用を区別する際の指標の有効性を評価する比較評価フレームワークを提案します。
私たちのフレームワークでは、相関分析、分類評価、検索評価を採用し、メトリクススコアと人間の判断との整合性を総合的に測定します。
私たちの結果は、すべての評価にわたって一貫して優れた単一の指標がないことを示しており、きめ細かいサポート レベルを正確に評価することの複雑さを浮き彫りにしています。
特に、最もパフォーマンスの高い指標は、部分的なサポートと完全なサポートまたはまったくのサポートを区別するのに苦労していることがわかりました。
これらの調査結果に基づいて、より効果的な指標を開発するための実践的な推奨事項を提供します。

要約(オリジナル)

Large language models (LLMs) often generate content with unsupported or unverifiable content, known as ‘hallucinations.’ To address this, retrieval-augmented LLMs are employed to include citations in their content, grounding the content in verifiable sources. Despite such developments, manually assessing how well a citation supports the associated statement remains a major challenge. Previous studies tackle this challenge by leveraging faithfulness metrics to estimate citation support automatically. However, they limit this citation support estimation to a binary classification scenario, neglecting fine-grained citation support in practical scenarios. To investigate the effectiveness of faithfulness metrics in fine-grained scenarios, we propose a comparative evaluation framework that assesses the metric effectiveness in distinguishing citations between three-category support levels: full, partial, and no support. Our framework employs correlation analysis, classification evaluation, and retrieval evaluation to measure the alignment between metric scores and human judgments comprehensively. Our results indicate no single metric consistently excels across all evaluations, highlighting the complexity of accurately evaluating fine-grained support levels. Particularly, we find that the best-performing metrics struggle to distinguish partial support from full or no support. Based on these findings, we provide practical recommendations for developing more effective metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google