CLATTER: Comprehensive Entailment Reasoning for Hallucination Detection

要約

幻覚検出に対する一般的なアプローチは、それを自然言語推論（NLI）タスクとしてキャストし、多くの場合、LLMを使用して、生成されたテキストが対応する参照テキストによって伴うかどうかを分類します。
含意分類は複雑な推論タスクであるため、COTの推論や最近の推論モデルの明示的な「思考」のように、LLMが明示的な推論プロセスを生成することで利益を得ることができると予想されます。
この作業では、このようなモデルを導き、体系的かつ包括的な推論プロセスを実行することを提案します – テキストをより小さな事実に分解し、各事実のソースに証拠を見つけます – モデルは、より細かい粒度で正確な招待決定を実行し、パフォーマンスの向上につながります。
そのために、（i）請求の分解、（ii）サブクレームの帰属および伴う分類、および（iii）集計分類で構成される3段階の推論プロセスを定義します。
この推論フレームワークに従って、中間推論ステップの品質を測定するいくつかのメトリックで構成される分析スキームを紹介します。

要約(オリジナル)

A common approach to hallucination detection casts it as a natural language inference (NLI) task, often using LLMs to classify whether the generated text is entailed by corresponding reference texts. Since entailment classification is a complex reasoning task, one would expect that LLMs could benefit from generating an explicit reasoning process, as in CoT reasoning or the explicit “thinking” of recent reasoning models. In this work, we propose that guiding such models to perform a systematic and comprehensive reasoning process — one that both decomposes the text into smaller facts and also finds evidence in the source for each fact — allows models to execute much finer-grained and accurate entailment decisions, leading to increased performance. To that end, we define a 3-step reasoning process, consisting of (i) claim decomposition, (ii) sub-claim attribution and entailment classification, and (iii) aggregated classification, showing that such guided reasoning indeed yields improved hallucination detection. Following this reasoning framework, we introduce an analysis scheme, consisting of several metrics that measure the quality of the intermediate reasoning steps, which provided additional empirical evidence for the improved quality of our guided reasoning scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google