Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models

要約

Openai-O1やDeepseek-R1などの大規模な言語モデル（RLLM）を使用した推論の最近の進歩は、数学やコーディングなどの複雑なドメインで印象的な能力を実証しています。
彼らの成功の中心的な要因は、推論能力を高め、複雑な問題の解決を可能にする長い考え方（長いCOT）特性の適用にあります。
ただし、これらの開発にもかかわらず、長いCOTに関する包括的な調査はまだ不足しており、従来の短いチェーン（短いCOT）との区別についての理解を制限し、「考え直し」や「テストタイムスケーリング」などの問題に関する継続的な議論を複雑にしています。
この調査では、長いCOTに関する統一された視点を提供することにより、このギャップを埋めようとしています。
（1）最初に長いベッドベッドと短いCOTを区別し、現在の推論パラダイムを分類するための新しい分類法を導入します。
（2）次に、長いCOTの重要な特性を調査します。深い推論、広範な探求、および実現可能な反射を調査します。これにより、モデルはより複雑なタスクを処理し、より浅い短いCOTと比較してより効率的でコヒーレントな結果を生成できます。
（3）次に、長いCOTの出現などの重要な現象を調査し、考え直しやテスト時間スケーリングを含むこれらの特性を備えており、これらのプロセスが実際にどのように現れるかについての洞察を提供します。
（4）最後に、重要な研究ギャップを特定し、マルチモーダル推論の統合、効率の改善、強化された知識フレームワークなど、有望な将来の方向性を強調します。
構造化された概要を提供することにより、この調査は、将来の研究を促し、人工知能における論理的推論の開発を促進することを目的としています。

要約(オリジナル)

Recent advancements in reasoning with large language models (RLLMs), such as OpenAI-O1 and DeepSeek-R1, have demonstrated their impressive capabilities in complex domains like mathematics and coding. A central factor in their success lies in the application of long chain-of-thought (Long CoT) characteristics, which enhance reasoning abilities and enable the solution of intricate problems. However, despite these developments, a comprehensive survey on Long CoT is still lacking, limiting our understanding of its distinctions from traditional short chain-of-thought (Short CoT) and complicating ongoing debates on issues like ‘overthinking’ and ‘test-time scaling.’ This survey seeks to fill this gap by offering a unified perspective on Long CoT. (1) We first distinguish Long CoT from Short CoT and introduce a novel taxonomy to categorize current reasoning paradigms. (2) Next, we explore the key characteristics of Long CoT: deep reasoning, extensive exploration, and feasible reflection, which enable models to handle more complex tasks and produce more efficient, coherent outcomes compared to the shallower Short CoT. (3) We then investigate key phenomena such as the emergence of Long CoT with these characteristics, including overthinking, and test-time scaling, offering insights into how these processes manifest in practice. (4) Finally, we identify significant research gaps and highlight promising future directions, including the integration of multi-modal reasoning, efficiency improvements, and enhanced knowledge frameworks. By providing a structured overview, this survey aims to inspire future research and further the development of logical reasoning in artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google