MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

要約

情報の探索と統合は、膨大な時間と労力を要する複雑な認知作業です。
大規模言語モデルの目覚ましい進歩に触発された最近の研究では、LLM と検索エンジンを組み合わせることによってこの課題を解決しようとしています。
しかし、これらの方法では、次の 3 つの課題により、依然として満足のいくパフォーマンスが得られません。(1) 複雑なリクエストは、一度検索エンジンで正確かつ完全に取得できないことがよくあります。(2) 統合される対応する情報が、大量のノイズとともに複数の Web ページに分散されています。
(3) 長いコンテンツを含む多数の Web ページは、すぐに LLM の最大コンテキスト長を超える可能性があります。
人間がこれらの問題を解決するときの認知プロセスに触発され、Web 情報の探索と統合における人間の心を模倣する MindSearch を導入します。これは、シンプルで効果的な LLM ベースのマルチエージェント フレームワークによってインスタンス化できます。
WebPlanner は、動的なグラフ構築プロセスとして複数段階の情報を求める人間の心をモデル化します。WebPlanner は、ユーザーのクエリをグラフ内のノードとして原子的なサブ質問に分解し、WebSearcher からの検索結果に基づいてグラフを段階的に拡張します。
各サブ質問のタスクを負った WebSearcher は、検索エンジンを使用して階層的な情報検索を実行し、WebPlanner にとって貴重な情報を収集します。
MindSearch のマルチエージェント設計により、フレームワーク全体が大規模 (例: 300 以上) の Web ページから情報を 3 分で並行して検索して統合できるようになります。これは人間の 3 時間の労力に相当します。
MindSearch は、クローズセットとオープンセットの両方の QA 問題において、深さと広さの点で応答品質が大幅に向上していることを示しています。
さらに、人間にとって、InternLM2.5-7B に基づく MindSearch からの応答は、ChatGPT-Web および Perplexity.ai アプリケーションよりも好まれており、これは、MindSearch がすでに独自の AI 検索エンジンに競争力のあるソリューションを提供できることを意味します。

要約(オリジナル)

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google