Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search

要約

最近、テスト時間のスケーリングは、OpenAI によってリリースされた o1 モデルの大幅な進歩により、研究コミュニティから大きな注目を集めています。
推論段階でより多くの計算リソースを割り当てることで、大規模言語モデル (LLM) はより多くの思考トークンや多様な解を生成することで解空間を広範囲に探索でき、それによりより正確な応答を生成できます。
しかし、o1 のような推論アプローチを開発することは困難であり、研究者たちはこの未開の研究領域を前進させるためにさまざまな試みを行ってきました。
この論文では、報酬誘導型ツリー検索アルゴリズムを通じて LLM の推論能力を強化するための予備調査を紹介します。
このフレームワークは、ポリシー モデル、報酬モデル、検索アルゴリズムを統合することによって実装されます。
これは主にツリー検索アルゴリズムを中心に構築されており、ポリシー モデルは、特別にトレーニングされた報酬モデルによって導かれ、動的に拡張するツリーをナビゲートします。
このフレームワークの実装に必要なさまざまな設計上の考慮事項を徹底的に調査し、技術的側面の詳細なレポートを提供します。
私たちのアプローチの有効性を評価するために、私たちは数学的推論タスクに焦点を当て、4 つの困難なデータセットに対して広範な評価を実施し、LLM の推論能力を大幅に強化しました。

要約(オリジナル)

Recently, test-time scaling has garnered significant attention from the research community, largely due to the substantial advancements of the o1 model released by OpenAI. By allocating more computational resources during the inference phase, large language models~(LLMs) can extensively explore the solution space by generating more thought tokens or diverse solutions, thereby producing more accurate responses. However, developing an o1-like reasoning approach is challenging, and researchers have been making various attempts to advance this open area of research. In this paper, we present a preliminary exploration into enhancing the reasoning abilities of LLMs through reward-guided tree search algorithms. This framework is implemented by integrating the policy model, reward model, and search algorithm. It is primarily constructed around a tree search algorithm, where the policy model navigates a dynamically expanding tree guided by a specially trained reward model. We thoroughly explore various design considerations necessary for implementing this framework and provide a detailed report of the technical aspects. To assess the effectiveness of our approach, we focus on mathematical reasoning tasks and conduct extensive evaluations on four challenging datasets, significantly enhancing the reasoning abilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google