The Relationship Between Reasoning and Performance in Large Language Models — o3 (mini) Thinks Harder, Not Longer

要約

大規模な言語モデルは、数学的推論において顕著な進歩を示しており、考え方の連鎖とテスト時間計算スケーリングを活用しています。
ただし、トークンの使用と精度の向上を推論することとの相互作用に関して、多くの未解決の疑問が残っています。
特に、世代を超えてモデルを比較する場合、パフォーマンスが改善された推論チェーンまたはより効率的な推論から生じるかどうかは不明です。
OMNI-MATHベンチマークのO1-MINIおよびO3-MINIバリアント全体のチェーンオブ考えの長さを体系的に分析し、O3-MINI（M）がO1-MINIよりも長い推論チェーンを必要とせずに優れた精度を達成することを発見しました。
さらに、質問の難しさを制御する場合でも、推論チェーンがすべてのモデルで成長し、設定を計算すると、一般に精度が低下することを示します。
この精度低下は、より熟練したモデルでは大幅に小さく、推論モデルの新しい世代がテスト時間計算をより効果的に使用することを示唆しています。
最後に、O3-MINI（H）はO3-MINI（M）よりもわずかな精度の向上を達成しているが、すべての問題にわたってかなりの推論トークンを割り当てることにより、O3-Mini（M）がすでにできることを強調していることを強調しています。
解決する。
これらの調査結果は、効率、スケーリング、評価方法に影響を与え、モデル能力と推論長の関係に関する新しい洞察を提供します。

要約(オリジナル)

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google