FINEREASON: Evaluating and Improving LLMs’ Deliberate Reasoning through Reflective Puzzle Solving

要約

多くの挑戦的な推論タスクには、迅速で直感的な応答だけでなく、より意図的なマルチステップアプローチが必要です。
大規模な言語モデル（LLMS）の最近の進捗状況は、「システム1」の迅速な反応の方法から、「システム2」スタイルの反射と補正の問題解決への重要なシフトを強調しています。
ただし、現在のベンチマークは、最終回答の精度に大きく依存しており、モデルの中間推論ステップの多くが未検証のままです。
これは、推論プロセス内で間違いを反映して修正するモデルの能力を評価することができません。
このギャップを埋めるために、LLMSの推論能力を細かく評価するためのロジックパズルベンチマークであるFinerEasonを紹介します。
各パズルはアトミックステップに分解できるため、中間正しさの厳密な検証に最適です。
これに基づいて、モデルが現在の状況を評価し、次の動きを計画する方法を包括的に評価するために、州のチェックと状態移行の2つのタスクを紹介します。
より広範な研究をサポートするために、一般的な数学タスクのパフォーマンスを向上させることを目的としたパズルトレーニングセットも提供します。
州のチェックおよび遷移データでトレーニングされたモデルが、GSM8Kで最大5.1％の数学推論の利益を示していることを示しています。

要約(オリジナル)

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the ‘System 1’ way of quick reactions to the ‘System 2′ style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model’s intermediate reasoning steps unexamined. This fails to assess the model’s ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs’ reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google