WebArena: A Realistic Web Environment for Building Autonomous Agents

要約

生成 AI の進歩により、自律エージェントが自然言語コマンドを介して日常のタスクを管理できるという素晴らしい可能性が明らかになりました。
ただし、現在のエージェントは主に単純化された合成環境で作成およびテストされており、現実世界のシナリオ表現が大幅に制限されています。
この論文では、非常に現実的で再現可能なエージェントのコマンドと制御のための環境を構築します。
具体的には、Web サイト上でタスクを実行するエージェントに焦点を当て、電子商取引、ソーシャル フォーラムでのディスカッション、共同ソフトウェア開発、コンテンツ管理という 4 つの共通ドメインから完全に機能する Web サイトを備えた環境を構築します。
私たちの環境は、人間らしいタスク解決を促すツール (地図など) や外部知識ベース (ユーザー マニュアルなど) で充実しています。
私たちの環境に基づいて、タスク完了の機能的正確性の評価に焦点を当てた一連のベンチマーク タスクをリリースします。
私たちのベンチマークのタスクは多様で長期的なものであり、人間がインターネット上で日常的に実行するタスクをエミュレートするように設計されています。
私たちは、行動する前の推論などの最新の技術を統合して、いくつかの自律エージェントを設計および実装します。
結果は、複雑なタスクを解決することが困難であることを示しています。当社の最高の GPT-4 ベースのエージェントは、エンドツーエンドのタスク成功率 10.59% しか達成していません。
これらの結果は、堅牢なエージェントのさらなる開発の必要性、現在の最先端の LM がこれらの現実のタスクにおいて完璧なパフォーマンスにはほど遠いこと、および WebArena を使用してそのような進歩を測定できることを強調しています。
私たちのコード、データ、環境再現リソース、ビデオ デモンストレーションは、https://webarena.dev/ で公開されています。

要約(オリジナル)

With generative AI advances, the exciting potential for autonomous agents to manage daily tasks via natural language commands has emerged. However, cur rent agents are primarily created and tested in simplified synthetic environments, substantially limiting real-world scenario representation. In this paper, we build an environment for agent command and control that is highly realistic and reproducible. Specifically, we focus on agents that perform tasks on websites, and we create an environment with fully functional websites from four common domains: e-commerce, social forum discussions, collaborative software development, and content management. Our environment is enriched with tools (e.g., a map) and external knowledge bases (e.g., user manuals) to encourage human-like task-solving. Building upon our environment, we release a set of benchmark tasks focusing on evaluating the functional correctness of task completions. The tasks in our benchmark are diverse, long-horizon, and are designed to emulate tasks that humans routinely perform on the internet. We design and implement several autonomous agents, integrating recent techniques such as reasoning before acting. The results demonstrate that solving complex tasks is challenging: our best GPT-4-based agent only achieves an end-to-end task success rate of 10.59%. These results highlight the need for further development of robust agents, that current state-of-the-art LMs are far from perfect performance in these real-life tasks, and that WebArena can be used to measure such progress. Our code, data, environment reproduction resources, and video demonstrations are publicly available at https://webarena.dev/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google