Search-o1: Agentic Search-Enhanced Large Reasoning Models

要約

OpenAI-o1 のような大規模推論モデル (LRM) は、大規模な強化学習を通じて、長い段階的な推論機能を実証してきました。
しかし、彼らの拡張された推論プロセスは知識不足に悩まされることが多く、頻繁な不確実性や潜在的なエラーにつながります。
この制限に対処するために、\textbf{Search-o1} を導入します。これは、エージェントによる検索拡張生成 (RAG) メカニズムと、取得したドキュメントを改良するための Reason-in-Documents モジュールを使用して LRM を強化するフレームワークです。
Search-o1 は、エージェント検索ワークフローを推論プロセスに統合し、LRM が不確実な知識ポイントに遭遇したときに外部知識を動的に取得できるようにします。
さらに、取得した文書は冗長な性質を持っているため、取得した情報を推論チェーンに挿入する前に詳細に分析するための別個の Reason-in-Documents モジュールを設計し、ノイズを最小限に抑え、一貫した推論フローを維持します。
科学、数学、コーディングにおける複雑な推論タスクに関する広範な実験と 6 つのオープンドメイン QA ベンチマークにより、Search-o1 の強力なパフォーマンスが実証されました。
このアプローチにより、複雑な推論タスクにおける LRM の信頼性と適用性が強化され、より信頼性が高く汎用性の高いインテリジェント システムへの道が開かれます。
コードは \url{https://github.com/sunnynexus/Search-o1} で入手できます。

要約(オリジナル)

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce \textbf{Search-o1}, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at \url{https://github.com/sunnynexus/Search-o1}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google