Does Thinking More always Help? Understanding Test-Time Scaling in Reasoning Models

要約

推論モデルのテスト時間スケーリングの最近の傾向（例：Openai O1、Deepseek R1）は、「待機」や「Let Me Rethink」などのプロンプトを使用して思考痕跡を拡張するとパフォーマンスを改善できるという一般的な信念につながりました。
これは自然な疑問を提起します：テスト時にもっと考えることは本当により良い推論につながるのでしょうか？
この質問に答えるために、モデルとベンチマーク全体で詳細な経験的研究を実行します。これは、「過度の考え方」のために、追加の思考とそれに続く減少による初期パフォーマンスの改善の一貫したパターンを明らかにします。
この非モノトニックな傾向を理解するために、単純な確率モデルを検討します。これは、追加の思考が、最終的には精度を弱体化させながら、推論の改善の幻想を作成することを明らかにします。
したがって、「より多くの思考」から観察された利益は、改善された推論の真の指標ではなく、モデルの不確実性と評価メトリックの間の接続に起因するアーティファクトです。
これは、拡張思考によるテスト時間スケーリングが推論思考予算を利用する効果的な方法ではないことを示唆しています。
これらの制限を認識して、Best-of-Nサンプリングに触発された、代替のテスト時間スケーリングアプローチ、並行思考を紹介します。
私たちの方法は、同じ推論予算内で複数の独立した推論パスを生成し、多数決を介して最も一貫した応答を選択し、拡張思考と比較して最大20％高い精度を達成します。
これは、推論モデルのテスト時間スケーリングのためのシンプルで効果的なメカニズムを提供します。

要約(オリジナル)

Recent trends in test-time scaling for reasoning models (e.g., OpenAI o1, DeepSeek R1) have led to a popular belief that extending thinking traces using prompts like ‘Wait’ or ‘Let me rethink’ can improve performance. This raises a natural question: Does thinking more at test-time truly lead to better reasoning? To answer this question, we perform a detailed empirical study across models and benchmarks, which reveals a consistent pattern of initial performance improvements from additional thinking followed by a decline, due to ‘overthinking’. To understand this non-monotonic trend, we consider a simple probabilistic model, which reveals that additional thinking increases output variance-creating an illusion of improved reasoning while ultimately undermining precision. Thus, observed gains from ‘more thinking’ are not true indicators of improved reasoning, but artifacts stemming from the connection between model uncertainty and evaluation metric. This suggests that test-time scaling through extended thinking is not an effective way to utilize the inference thinking budget. Recognizing these limitations, we introduce an alternative test-time scaling approach, parallel thinking, inspired by Best-of-N sampling. Our method generates multiple independent reasoning paths within the same inference budget and selects the most consistent response via majority vote, achieving up to 20% higher accuracy compared to extended thinking. This provides a simple yet effective mechanism for test-time scaling of reasoning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google