Towards A Unified View of Answer Calibration for Multi-Step Reasoning

要約

思考連鎖 (CoT) プロンプトを採用した大規模言語モデル (LLM) により、複数ステップの推論機能を向上させる範囲が広がりました。
通常、ステップレベルまたはパスレベルのキャリブレーションなどの回答キャリブレーション戦略は、複数ステップの推論において重要な役割を果たします。
効果的ではありますが、成功を推進する重要な要素についての私たちの理解には依然として大きなギャップがあります。
この論文では、最近の解答校正戦略の設計を詳細に分析し、それらの間の関連性を確立する統一されたビューを提示します。
次に、統合されたビューからこれらの戦略を徹底的に評価し、複数のパスにわたるステップレベルおよびパスレベルの応答校正を体系的に精査します。
私たちの研究は、解答校正による複数ステップの推論を最適化するための重要な洞察を明らかにする可能性を秘めています。

要約(オリジナル)

Large Language Models (LLMs) employing Chain-of-Thought (CoT) prompting have broadened the scope for improving multi-step reasoning capabilities. Usually, answer calibration strategies such as step-level or path-level calibration play a vital role in multi-step reasoning. While effective, there remains a significant gap in our understanding of the key factors that drive their success. In this paper, we break down the design of recent answer calibration strategies and present a unified view which establishes connections between them. We then conduct a thorough evaluation on these strategies from a unified view, systematically scrutinizing step-level and path-level answer calibration across multiple paths. Our study holds the potential to illuminate key insights for optimizing multi-step reasoning with answer calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google