A Human-Like Reasoning Framework for Multi-Phases Planning Task with Large Language Models

要約

最近の研究では、彼らがさまざまな推論戦略を通じて、執筆やコーディングなどの単純なタスクに習熟していることが明らかになりました。
しかし、LLM エージェントは依然として、包括的な計画を必要とするタスクに苦労しています。このプロセスは現在のモデルに挑戦するものであり、依然として重要な研究課題です。
この研究では、概要、情報収集、計画など、相互に関連する複数の段階が関与する多段階計画問題である旅行計画に焦点を当てます。これらの段階は、多くの場合、さまざまな制約や不確実性を管理する必要性を特徴とします。
既存の推論アプローチは、この複雑なタスクに効果的に対処するのに苦労しています。
私たちの研究は、LLM エージェントのための人間のような計画フレームワークを開発することによって、この課題に対処することを目的としています。つまり、LLM エージェントがマルチフェーズ問題を解決するときに人間が実行するさまざまなステップをシミュレートするようにガイドすることです。
具体的には、LLM エージェントが人間の計画パターンを反映して、旅行クエリごとに一貫した概要を生成できるようにするためのいくつかの戦略を実装しています。
さらに、戦略ブロックと知識ブロックをフレームワークに統合します。戦略ブロックは情報収集を容易にし、知識ブロックは詳細な計画に不可欠な情報を提供します。
私たちは広範な実験を通じて、私たちのフレームワークが LLM エージェントの計画能力を大幅に向上させ、旅行計画タスクに効率と効果を高めて取り組むことができることを実証しました。
私たちの実験結果は、提案されたフレームワークの優れたパフォーマンスを示しています。
GPT-4-Turbo と組み合わせると、GPT-4-Turbo にデプロイされたベースライン フレームワークと比較して、10 倍のパフォーマンス向上が達成されます。

要約(オリジナル)

Recent studies have highlighted their proficiency in some simple tasks like writing and coding through various reasoning strategies. However, LLM agents still struggle with tasks that require comprehensive planning, a process that challenges current models and remains a critical research issue. In this study, we concentrate on travel planning, a Multi-Phases planning problem, that involves multiple interconnected stages, such as outlining, information gathering, and planning, often characterized by the need to manage various constraints and uncertainties. Existing reasoning approaches have struggled to effectively address this complex task. Our research aims to address this challenge by developing a human-like planning framework for LLM agents, i.e., guiding the LLM agent to simulate various steps that humans take when solving Multi-Phases problems. Specifically, we implement several strategies to enable LLM agents to generate a coherent outline for each travel query, mirroring human planning patterns. Additionally, we integrate Strategy Block and Knowledge Block into our framework: Strategy Block facilitates information collection, while Knowledge Block provides essential information for detailed planning. Through our extensive experiments, we demonstrate that our framework significantly improves the planning capabilities of LLM agents, enabling them to tackle the travel planning task with improved efficiency and effectiveness. Our experimental results showcase the exceptional performance of the proposed framework; when combined with GPT-4-Turbo, it attains $10\times$ the performance gains in comparison to the baseline framework deployed on GPT-4-Turbo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google