Training Language Models to Reason Efficiently

要約

スケーリングモデルのサイズとトレーニングデータは、大規模な言語モデル（LLMS）のパフォーマンスに大きな進歩をもたらしました。
ただし、このアプローチのリターンの減少は、特に高度な推論を必要とするタスクで、モデル機能を改善するための代替方法を必要とします。
長い考え方を活用する大規模な推論モデルは、問題解決能力に前例のないブレークスルーをもたらしますが、長い世代に関連するかなりの展開コストです。
推論コストを削減することは、これらのモデルの経済的実現可能性、ユーザーエクスペリエンス、環境の持続可能性にとって重要です。
この作業では、効率的に推論するために大きな推論モデルを訓練することを提案します。
より正確には、Rehnection Learning（RL）を使用して推論モデルをトレーニングして、タスクの複雑さに基づいて推論時間計算を動的に割り当てます。
私たちの方法は、精度を維持しながら不必要な計算オーバーヘッドを最小限に抑え、それによって実質的な効率性の向上を達成するようにモデルを奨励します。
これにより、単一のハイパーパラメーターを介して制御される、効率レベルがさまざまな推論モデルファミリーの導出を可能にします。
2つのオープンウェイトの大きな推論モデルでの実験は、ほとんどの精度を維持しながら、推論コストの大幅な削減を示しています。

要約(オリジナル)

Scaling model size and training data has led to great advances in the performance of Large Language Models (LLMs). However, the diminishing returns of this approach necessitate alternative methods to improve model capabilities, particularly in tasks requiring advanced reasoning. Large reasoning models, which leverage long chain-of-thoughts, bring unprecedented breakthroughs in problem-solving capabilities but at a substantial deployment cost associated to longer generations. Reducing inference costs is crucial for the economic feasibility, user experience, and environmental sustainability of these models. In this work, we propose to train large reasoning models to reason efficiently. More precisely, we use reinforcement learning (RL) to train reasoning models to dynamically allocate inference-time compute based on task complexity. Our method incentivizes models to minimize unnecessary computational overhead while maintaining accuracy, thereby achieving substantial efficiency gains. It enables the derivation of a family of reasoning models with varying efficiency levels, controlled via a single hyperparameter. Experiments on two open-weight large reasoning models demonstrate significant reductions in inference cost while preserving most of the accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google