Let LLMs Break Free from Overthinking via Self-Braking Tuning

要約

Openai O1やDeepseek-R1などの大きな推論モデル（LRMS）は、長い思考チェーンを生成することにより、推論能力を大幅に強化し、さまざまなタスクにわたって優れたパフォーマンスを示しています。
ただし、このパフォーマンスの増加は、生成プロセス中の冗長推論の大幅な増加を犠牲にして、高い計算オーバーヘッドにつながり、考え過ぎの問題を悪化させます。
多数の既存のアプローチは、考え過ぎの問題に対処することを目指していますが、多くの場合、外部の介入に依存しています。
この論文では、モデルが独自の推論プロセスを調節できるようにするという観点から考え直し、外部制御メカニズムへの依存を排除​​するという観点から考え直すことに取り組む新しいフレームワークである自己繁栄のチューニング（SBT）を提案します。
標準の回答に基づいて一連の考え直し識別指標を構築し、冗長な推論を検出するための体系的な方法を設計します。
この方法は、推論軌道内の不必要な手順を正確に識別し、自己調節行動を学ぶためのトレーニング信号を生成します。
この基盤に基づいて、適応的な推論長でデータを構築するための完全な戦略を開発し、モデルが適切なポイントで推論を終了する時期を自然に学ぶことができる革新的なブレーキプロンプトメカニズムを導入します。
数学ベンチマーク（AIME、AMC、Math500、GSM8K）の実験は、制約のないモデルに同等の精度を維持しながら、この方法がトークン消費を最大60％減らすことを示しています。

要約(オリジナル)

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google