Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks

要約

大規模な言語モデル（LLM）は、言語エージェントが簡単なタスクに取り組むことを可能にする顕著な進歩を示しています。
ただし、複雑でマルチステップの長距離タスクにそれらを適用することは依然として課題です。
最近の作業では、高レベルの計画を低レベルの実行から分離することで成功を収めています。これにより、モデルは高レベルの計画目標と低レベルの実行の詳細のバランスをとることができます。
ただし、LLMSは本質的にこのタスクの訓練を受けていないため、正確な計画を生成することは依然として困難です。
これに対処するために、LLMベースのエージェントに明示的な計画を組み込んだ新しいフレームワークであり、新しい合成データ生成法を通じて計画生成を強化するスケーラブルな方法を導入する計画と行動を提案します。
プランとアクトは、ユーザーの目標を達成するための構造化された高レベルの計画を生成するプランナーモデルと、これらの計画を環境固有のアクションに変換するエグゼクティアモデルで構成されています。
プランナーを効果的にトレーニングするために、一般化を強化するために多様で広範な例で拡張された、実現可能な計画を備えた地上の真実の軌跡に注釈を付ける合成データ生成方法を紹介します。
Webナビゲーションを代表的な長老計画環境として使用して計画とアクションを評価し、Webarena-Liteベンチマークで最先端の54％の成功率を示します。

要約(オリジナル)

Large language models (LLMs) have shown remarkable advancements in enabling language agents to tackle simple tasks. However, applying them for complex, multi-step, long-horizon tasks remains a challenge. Recent work have found success by separating high-level planning from low-level execution, which enables the model to effectively balance high-level planning objectives and low-level execution details. However, generating accurate plans remains difficult since LLMs are not inherently trained for this task. To address this, we propose Plan-and-Act, a novel framework that incorporates explicit planning into LLM-based agents and introduces a scalable method to enhance plan generation through a novel synthetic data generation method. Plan-and-Act consists of a Planner model which generates structured, high-level plans to achieve user goals, and an Executor model that translates these plans into environment-specific actions. To train the Planner effectively, we introduce a synthetic data generation method that annotates ground-truth trajectories with feasible plans, augmented with diverse and extensive examples to enhance generalization. We evaluate Plan-and-Act using web navigation as a representative long-horizon planning environment, demonstrating a state-of the-art 54% success rate on the WebArena-Lite benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google