ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness

要約

多段階推論能力は多くの自然言語タスクの基本であるが、何が良い推論チェーンを構成し、それらをどのように評価するかは不明である。ほとんどの既存の方法は、推論チェーンが正しい結論に導くかどうかにのみ焦点を当てるが、この答え指向のビューは、答えを予測するための他の偽のショートカットと推論の品質を混同する可能性がある。このギャップを埋めるために、我々は推論連鎖を最終的な答えを導き出す非公式な証明と見なして評価する。具体的には、ReCEval(Reasoning Chain Evaluation)を提案する。ReCEvalは、推論連鎖を2つの重要な特性で評価するフレームワークである。(1)正しさ、すなわち、各ステップが、ステップ、先行ステップ、入力コンテキストに含まれる情報に基づいて有効な推論を行っているか、(2)情報量、すなわち、各ステップが、生成された答えを導くのに役立つ新しい情報を提供しているか、である。我々は、自然言語推論モデルとV-Informationを用いたメトリクスを開発することで、これらの特性を評価する。複数のデータセットにおいて、ReCEvalが様々なエラータイプを効果的に識別し、先行手法と比較して顕著な改善をもたらすことを示す。また、ステップ境界や前のステップが正しさの評価に与える影響を分析し、我々の情報量メトリクスが高品質な推論チェーンに期待される情報の流れを捉えていることを実証する。最後に、ReCEvalに基づいて推論連鎖をスコアリングすることで、下流のタスク性能が向上することを示す。我々のコードは https://github.com/archiki/ReCEval で公開されている。

要約(オリジナル)

Multi-step reasoning ability is fundamental to many natural language tasks, yet it is unclear what constitutes a good reasoning chain and how to evaluate them. Most existing methods focus solely on whether the reasoning chain leads to the correct conclusion, but this answer-oriented view may confound reasoning quality with other spurious shortcuts to predict the answer. To bridge this gap, we evaluate reasoning chains by viewing them as informal proofs that derive the final answer. Specifically, we propose ReCEval (Reasoning Chain Evaluation), a framework that evaluates reasoning chains via two key properties: (1) correctness, i.e., each step makes a valid inference based on information contained within the step, preceding steps, and input context, and (2) informativeness, i.e., each step provides new information that is helpful towards deriving the generated answer. We evaluate these properties by developing metrics using natural language inference models and V-Information. On multiple datasets, we show that ReCEval effectively identifies various error types and yields notable improvements compared to prior methods. We analyze the impact of step boundaries, and previous steps on evaluating correctness and demonstrate that our informativeness metric captures the expected flow of information in high-quality reasoning chains. Finally, we show that scoring reasoning chains based on ReCEval improves downstream task performance. Our code is publicly available at: https://github.com/archiki/ReCEval

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL