ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness

要約

タイトル：正確さと情報量による推論チェーンの評価に関する「ReCEval」

要約：

– 複数のステップの推論能力は、多くの自然言語タスクにとって基本的であるが、それが良い推論チェーンを構成するとはどういうことか、そしてそれをどのように評価するかは明確ではない。
– 一般的に、推論チェーンが正しい結論に導くかどうかのみに焦点を当てている現在の多くの方法は、解答指向の視点が推論の質と他の不正確なショートカットを混同してしまう可能性がある。
– このギャップを埋めるために、私たちは推論チェーンを最終的な答えを導出する非形式的な証明と見なして評価することによって推論チェーンを評価します。
– 具体的には、2つの主要な特性である正確さ（つまり、各ステップが、ステップ自体、先行ステップ、および入力コンテキストに含まれる情報に基づいて有効な推論を行う。）と情報量（つまり、各ステップが、生成された答えを導くのに役立つ新しい情報を提供する）に基づいて、推論チェーンを評価するReCEval（Reasoning Chain Evaluation）フレームワークを提案します。
– 自然言語推論モデルと情報理論的な手法を用いてReCEvalを実装し、複数のデータセットにおいて、前の方法と比較して注目すべき改善をもたらす異なるタイプのエラーの識別に非常に効果的であることを示します。
– 私たちは、情報量のメトリックが高品質な推論チェーンで期待される情報のフローを捉え、先行ステップが正確さと情報量の評価に及ぼす影響を分析しました。
– 最後に、ReCEvalに基づく推論チェーンのスコアリングが推論タスクのダウンストリームのパフォーマンスを向上させることを示しました。

要約(オリジナル)

Multi-step reasoning ability is fundamental to many natural language tasks, yet it is unclear what constitutes a good reasoning chain and how to evaluate them. Most existing methods focus solely on whether the reasoning chain leads to the correct conclusion, but this answer-oriented view may confound the quality of reasoning with other spurious shortcuts to predict the answer. To bridge this gap, we evaluate reasoning chains by viewing them as informal proofs that derive the final answer. Specifically, we propose ReCEval (Reasoning Chain Evaluation), a framework that evaluates reasoning chains through two key properties: (1) correctness, i.e., each step makes a valid inference based on the information contained within the step, preceding steps, and input context, and (2) informativeness, i.e., each step provides new information that is helpful towards deriving the generated answer. We implement ReCEval using natural language inference models and information-theoretic measures. On multiple datasets, ReCEval is highly effective in identifying different types of errors, resulting in notable improvements compared to prior methods. We demonstrate that our informativeness metric captures the expected flow of information in high-quality reasoning chains and we also analyze the impact of previous steps on evaluating correctness and informativeness. Finally, we show that scoring reasoning chains based on ReCEval can improve downstream performance of reasoning tasks. Our code is publicly available at: https://github.com/archiki/ReCEval

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI