Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models

要約

大規模な言語モデル（LLM）は、複雑なタスクで顕著な能力を示しています。
Openai O1やDeepSeek-R1などの大規模な推論モデル（LRMS）の最近の進歩は、数学や補強施設（SFT）および強化学習（RL）テクニックを活用して、チェーン（COT）の推論を強化することにより、数学やプログラミングなどのシステム-2推論ドメインのパフォーマンスをさらに改善しました。
ただし、COTの推論シーケンスが長いとパフォーマンスが向上しますが、「考え直しの現象」として知られる冗長および冗長な出力のために、重要な計算オーバーヘッドも導入します。
この論文では、LLMSで効率的な推論を達成するための現在の進歩を体系的に調査および調査するための最初の構造化調査を提供します。
全体として、LLMSの固有のメカニズムに依存して、既存の作業をいくつかの重要な方向に分類します。（1）モデルベースの効率的な推論は、より簡潔な推論モデルをより簡潔な推論モデルに最適化するか、効率的な推論モデルを直接トレーニングすることを考慮します。
（2）推論中の推論ステップと長さを動的に削減することを目的とする出力ベースの効率的な推論を推論する。
（3）入力プロンプトベースの効率的な推論は、難易度や長さの制御などの入力プロンプトプロパティに基づいて推論効率を高めることを目指しています。
さらに、推論モデルのトレーニングに効率的なデータの使用を紹介し、小言語モデルの推論機能を調査し、評価方法とベンチマークについて議論します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities in complex tasks. Recent advancements in Large Reasoning Models (LRMs), such as OpenAI o1 and DeepSeek-R1, have further improved performance in System-2 reasoning domains like mathematics and programming by harnessing supervised fine-tuning (SFT) and reinforcement learning (RL) techniques to enhance the Chain-of-Thought (CoT) reasoning. However, while longer CoT reasoning sequences improve performance, they also introduce significant computational overhead due to verbose and redundant outputs, known as the ‘overthinking phenomenon’. In this paper, we provide the first structured survey to systematically investigate and explore the current progress toward achieving efficient reasoning in LLMs. Overall, relying on the inherent mechanism of LLMs, we categorize existing works into several key directions: (1) model-based efficient reasoning, which considers optimizing full-length reasoning models into more concise reasoning models or directly training efficient reasoning models; (2) reasoning output-based efficient reasoning, which aims to dynamically reduce reasoning steps and length during inference; (3) input prompts-based efficient reasoning, which seeks to enhance reasoning efficiency based on input prompt properties such as difficulty or length control. Additionally, we introduce the use of efficient data for training reasoning models, explore the reasoning capabilities of small language models, and discuss evaluation methods and benchmarking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google