Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction

要約

GUIタスクの自動化は、テキスト表現への依存、プラットフォーム固有のアクションスペース、および限られた推論能力のために、依然として困難である。我々は、スクリーン画像上で直接動作し、クロスプラットフォームのインタラクションを標準化し、内部モノローグを介して構造化された推論を組み込む、自律GUIエージェントのための統一されたビジョンベースのフレームワークであるAguvisを紹介する。これを可能にするために、マルチモーダルな接地と推論の注釈を持つ大規模なデータセットであるAguvis Data Collectionを構築し、GUI接地と計画と推論を分離する2段階のトレーニングパイプラインを開発する。実験によると、Aguvisはオフラインと実世界のオンラインベンチマークで最先端の性能を達成し、クローズドソースモデルなしで動作する初の完全に自律的なビジョンベースのGUIエージェントとなった。我々は、将来の研究を促進するために、すべてのデータセット、モデル、およびトレーニングレシピをhttps://aguvis-project.github.io。

要約(オリジナル)

Automating GUI tasks remains challenging due to reliance on textual representations, platform-specific action spaces, and limited reasoning capabilities. We introduce Aguvis, a unified vision-based framework for autonomous GUI agents that directly operates on screen images, standardizes cross-platform interactions and incorporates structured reasoning via inner monologue. To enable this, we construct Aguvis Data Collection, a large-scale dataset with multimodal grounding and reasoning annotations, and develop a two-stage training pipeline that separates GUI grounding from planning and reasoning. Experiments show that Aguvis achieves state-of-the-art performance across offline and real-world online benchmarks, marking the first fully autonomous vision-based GUI agent that operates without closed-source models. We open-source all datasets, models, and training recipes at https://aguvis-project.github.io to advance future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL