Reasoning Language Models: A Blueprint

要約

OpenaiのO1およびO3、DeepSeek-V3、AlibabaのQWQなど、LLMSの大規模な推論モデル（LRMS）としても知られる推論言語モデル（RLM）は、高度な推論メカニズムでLLMを拡張することにより、AIの問題解決機能を再定義しました。
しかし、それらの高コスト、独自の性質、複雑なアーキテクチャ – 強化学習（RL）、検索ヒューリスティック、およびLLMをユニークに組み合わせて、アクセシビリティとスケーラビリティの課題を提示します。
これらに対処するために、すべてのRLM作業の調査と分析に基づいて、RLMコンポーネントをモジュラーフレームワークに整理する包括的な青写真を提案します。
この青写真には、多様な推論構造（チェーン、ツリー、グラフ、ネストされたフォーム）、推論戦略（例：モンテカルロツリー検索、ビーム検索）、RLの概念（ポリシー、価値モデルなど）、監督スキーム（結果に基づく、および結果および監督計画が組み込まれています。
プロセスベースの監督）、およびその他の関連概念（たとえば、テスト時間計算、検索された生成、エージェントツールなど）。
また、RLMの実装を簡素化するために、詳細な数学的定式化とアルゴリズム仕様も提供します。
Llama-Berry、QWQ、Journey Learning、Graphのようなスキームが特別なケースに適合する方法を示すことにより、青写真の汎用性と統一可能性を示します。
そのユーティリティを説明するために、迅速なRLMプロトタイピングと実験のためのモジュラー実装であるX1を導入します。
X1と文献レビューを使用して、ポリシーモデルと価値モデルのための多相トレーニング、馴染みのあるトレーニング分布の重要性など、重要な洞察を提供します。
最後に、スケーラブルなRLMクラウドの展開について説明し、RLMがより広範なLLMエコシステムと統合する方法を概説します。
私たちの仕事は、RLMの建設を分かりやすく、高度な推論能力を民主化し、RLMの設計と実験の障壁を下げることにより、「リッチAI」と「貧しいAI」のギャップを軽減することを目指して、イノベーションを促進します。

要約(オリジナル)

Reasoning language models (RLMs), also known as Large Reasoning Models (LRMs), such as OpenAI’s o1 and o3, DeepSeek-V3, and Alibaba’s QwQ, have redefined AI’s problem-solving capabilities by extending LLMs with advanced reasoning mechanisms. Yet, their high costs, proprietary nature, and complex architectures – uniquely combining Reinforcement Learning (RL), search heuristics, and LLMs – present accessibility and scalability challenges. To address these, we propose a comprehensive blueprint that organizes RLM components into a modular framework, based on a survey and analysis of all RLM works. This blueprint incorporates diverse reasoning structures (chains, trees, graphs, and nested forms), reasoning strategies (e.g., Monte Carlo Tree Search, Beam Search), RL concepts (policy, value models and others), supervision schemes (Outcome-Based and Process-Based Supervision), and other related concepts (e.g., Test-Time Compute, Retrieval-Augmented Generation, agent tools). We also provide detailed mathematical formulations and algorithmic specifications to simplify RLM implementation. By showing how schemes like LLaMA-Berry, QwQ, Journey Learning, and Graph of Thoughts fit as special cases, we demonstrate the blueprint’s versatility and unifying potential. To illustrate its utility, we introduce x1, a modular implementation for rapid RLM prototyping and experimentation. Using x1 and a literature review, we provide key insights, such as multi-phase training for policy and value models, and the importance of familiar training distributions. Finally, we discuss scalable RLM cloud deployments and we outline how RLMs can integrate with a broader LLM ecosystem. Our work demystifies RLM construction, democratizes advanced reasoning capabilities, and fosters innovation, aiming to mitigate the gap between ‘rich AI’ and ‘poor AI’ by lowering barriers to RLM design and experimentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google