How Far are LLMs from Real Search? A Comprehensive Study on Efficiency, Completeness, and Inherent Capabilities

要約

検索は、さまざまなドメインにわたる問題解決において根本的な役割を果たし、ほとんどの現実世界の意思決定の問題は体系的な検索を通じて解決可能です。
検索と学習に関する最近の議論からインスピレーションを得て、3つの観点から検索モデル（LLM）の補完的な関係を体系的に探求します。
まず、学習が検索効率を高め、学習（SEAL）を介して検索を提案する方法を分析します。これは、効果的かつ効率的な検索のためにLLMを活用するフレームワークです。
第二に、SEAL-Cにさらに拡張して、検索中に厳しい完全性を確保します。
3つの実際の計画タスクにわたる評価は、シールが従来のアプローチと比較して検索スペースを最大99.1％削減しながら、ほぼ完璧な精度を達成することを示しています。
最後に、LLMが独立して検索機能を開発できるかどうかを調査することにより、実際の検索からどれだけ遠いかを調査します。
私たちの分析は、現在のLLMが複雑な問題で効率的な検索と闘っている一方で、体系的な検索戦略を組み込むことで問題解決能力が大幅に向上することを明らかにしています。
これらの調査結果は、アプローチの有効性を検証するだけでなく、実際のアプリケーションのLLMSの検索能力を改善する必要性を強調しています。

要約(オリジナル)

Search plays a fundamental role in problem-solving across various domains, with most real-world decision-making problems being solvable through systematic search. Drawing inspiration from recent discussions on search and learning, we systematically explore the complementary relationship between search and Large Language Models (LLMs) from three perspectives. First, we analyze how learning can enhance search efficiency and propose Search via Learning (SeaL), a framework that leverages LLMs for effective and efficient search. Second, we further extend SeaL to SeaL-C to ensure rigorous completeness during search. Our evaluation across three real-world planning tasks demonstrates that SeaL achieves near-perfect accuracy while reducing search spaces by up to 99.1% compared to traditional approaches. Finally, we explore how far LLMs are from real search by investigating whether they can develop search capabilities independently. Our analysis reveals that while current LLMs struggle with efficient search in complex problems, incorporating systematic search strategies significantly enhances their problem-solving capabilities. These findings not only validate the effectiveness of our approach but also highlight the need for improving LLMs’ search abilities for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google