A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond

要約

Deepseek-R1やOpenai O1などの最近の大きな推論モデル（LRMS）は、推論中に推論チェーン（COT）推論の長さをスケーリングすることにより、パフォーマンスの強い利益を実証しました。
ただし、冗長なコンテンツ（繰り返し定義など）、単純な問題の過剰分析、より難しいタスクの複数の推論パスの表面的な調査で満たされていることが多い過度に長い推論痕跡を生成する傾向が高まっています。
この非効率性は、トークン経済が重要なトレーニング、推論、および実際の展開（例えば、エージェントベースのシステム）に大きな課題をもたらします。
この調査では、LRMSの推論効率を改善することを目的とした最近の取り組みの包括的な概要を説明します。これは、この新しいパラダイムで生じる独自の課題に特に焦点を当てています。
非効率性の一般的なパターンを特定し、LRMライフサイクル全体で提案されている方法、つまり推論への前提からの方法を調べ、研究のための将来の方向性について議論します。
継続的な開発をサポートするために、フィールドの最近の進捗状況を追跡するリアルタイムGithubリポジトリも維持しています。
この調査がさらなる探求の基盤として機能し、この急速に進化する分野のイノベーションを刺激することを願っています。

要約(オリジナル)

Recent Large Reasoning Models (LRMs), such as DeepSeek-R1 and OpenAI o1, have demonstrated strong performance gains by scaling up the length of Chain-of-Thought (CoT) reasoning during inference. However, a growing concern lies in their tendency to produce excessively long reasoning traces, which are often filled with redundant content (e.g., repeated definitions), over-analysis of simple problems, and superficial exploration of multiple reasoning paths for harder tasks. This inefficiency introduces significant challenges for training, inference, and real-world deployment (e.g., in agent-based systems), where token economy is critical. In this survey, we provide a comprehensive overview of recent efforts aimed at improving reasoning efficiency in LRMs, with a particular focus on the unique challenges that arise in this new paradigm. We identify common patterns of inefficiency, examine methods proposed across the LRM lifecycle, i.e., from pretraining to inference, and discuss promising future directions for research. To support ongoing development, we also maintain a real-time GitHub repository tracking recent progress in the field. We hope this survey serves as a foundation for further exploration and inspires innovation in this rapidly evolving area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google