要約
デジタル世界におけるインターネット閲覧エージェントや、物理世界における家庭用ヒューマノイドなど、広範な能力を備えた目標指向型エージェントのビジョンは、基礎モデルの一般化機能のおかげで急速に進歩しました。
このようなジェネラリスト エージェントは、2 つの旅行先間の道順を調べたり、インターネットから特定の商品を購入したりするなど、大規模かつ多様なスキル レパートリーを持っている必要があります。
人間が注釈を付けた指示の固定セットを通じて各スキルを手動で指定する必要がある場合、人間が注釈を付けた指示の量と多様性により、エージェントのスキル レパートリーは必然的に制限されます。
この研究では、基礎モデル エージェントが実際のスキルを自律的に発見して実践できるようにする効果的な学習システムである Proposer-Agent-Evaluator を提案することで、この課題に対処します。
PAE の中心となるのは、ユーザー デモやインターネット閲覧エージェントの Web サイト自体の名前など、環境のコンテキスト情報を使用してエージェントが練習するタスクを自律的に提案するコンテキスト認識タスク プロポーザーです。
次に、エージェント ポリシーは、思考と現実世界での実際の地上操作を使用してこれらのタスクを試行し、その結果の軌跡が自律型 VLM ベースの成功評価器によって評価されます。
成功評価は、エージェントが RL を通じてポリシーを改良するための報酬信号として機能します。
私たちは、WebVoyager と WebArena の現実世界と自己ホスト型 Web サイトの両方を使用して、困難なビジョンベースの Web ナビゲーションで PAE を検証します。私たちの知る限り、この研究は、エージェント向けの RL による自律タスク提案を適用するための最初の効果的な学習システムを表しています。
これは、人間が注釈を付けた現実世界のベンチマークを SOTA パフォーマンスで一般化します。
オープンソースのチェックポイントとコードは https://yanqval.github.io/PAE/ にあります。
要約(オリジナル)
The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent’s skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/
arxiv情報
| 著者 | Yifei Zhou,Qianlan Yang,Kaixiang Lin,Min Bai,Xiong Zhou,Yu-Xiong Wang,Sergey Levine,Erran Li |
| 発行日 | 2024-12-17 18:59:50+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google