Long or short CoT? Investigating Instance-level Switch of Large Reasoning Models

要約

大規模な推論モデルの急速な進歩により、長いチェーン（COT）プロンプトは、複雑なタスクで強力なパフォーマンスを実証しました。
ただし、これにはトークンの使用が大幅に増加することがよくあります。
この論文では、長いCOT戦略と短いCOT戦略を比較する包括的な経験的分析を実施します。
私たちの調査結果は、長いCOTがパフォーマンスの改善につながる可能性がある一方で、その利点は、その著しく高いトークン消費に比べてわずかであることが多いことを明らかにしています。
具体的には、十分な生成予算が利用可能な場合、長いCOTはアウトパフォームする傾向がありますが、短いCOTはより厳しい予算の制約の下でより効果的です。
これらの洞察は、タスクのコンテキストとリソースの可用性に基づいて適切なCOT戦略を選択する動的なアプローチの必要性を強調しています。
これに対処するために、スイッチコットを提案します。スイッチコットは、推論の精度と計算効率のバランスをとるために、長いCOT戦略と短いCOT戦略の間で適応的に選択する自動フレームワークを提案します。
さらに、SwitchCotは予算を付けるように設計されており、さまざまなリソース制約を備えたシナリオに広く適用されます。
実験結果は、スイッチコットが高い精度を維持しながら、推論コストを最大50％削減できることを示しています。
特に、限られたトークン予算の下では、長いベッドまたは短いベッドのみを使用するか、それを超えるパフォーマンスを達成します。

要約(オリジナル)

With the rapid advancement of large reasoning models, long Chain-of-Thought (CoT) prompting has demonstrated strong performance on complex tasks. However, this often comes with a significant increase in token usage. In this paper, we conduct a comprehensive empirical analysis comparing long and short CoT strategies. Our findings reveal that while long CoT can lead to performance improvements, its benefits are often marginal relative to its significantly higher token consumption. Specifically, long CoT tends to outperform when ample generation budgets are available, whereas short CoT is more effective under tighter budget constraints. These insights underscore the need for a dynamic approach that selects the proper CoT strategy based on task context and resource availability. To address this, we propose SwitchCoT, an automatic framework that adaptively chooses between long and short CoT strategies to balance reasoning accuracy and computational efficiency. Moreover, SwitchCoT is designed to be budget-aware, making it broadly applicable across scenarios with varying resource constraints. Experimental results demonstrate that SwitchCoT can reduce inference costs by up to 50% while maintaining high accuracy. Notably, under limited token budgets, it achieves performance comparable to, or even exceeding, that of using either long or short CoT alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google