AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants

要約

命令ベースのコンピューター制御エージェント（CCAS）は、自然言語の指示を提供した人間ユーザーと同じグラフィカルユーザーインターフェイスを使用してタスクを実行するために、パーソナルコンピューターまたはモバイルデバイスで複雑なアクションシーケンスを実行します。
このレビューは、命令ベースのコンピューター制御の新興分野の包括的な概要を提供し、利用可能なエージェント（その分類法、開発、およびそれぞれのリソース）を調べ、手動で設計された専門的なエージェントから大手言語などの基礎モデルの活用への移行を強調します
モデル（LLM）およびビジョン言語モデル（VLM）。
問題を正式にし、フィールドの分類法を確立して、3つの観点からエージェントを分析します。（a）環境の観点、コンピューター環境の分析。
（b）観測スペース（スクリーンショット、HTMLなど）およびアクションスペース（マウスおよびキーボードアクション、実行可能コードなど）を説明する相互作用の視点。
（c）エージェントの視点は、エージェントがどのように行動し、行動するかという核となる原則に焦点を当てています。
私たちのフレームワークには、専門的なエージェントとファンデーションエージェントの両方が含まれ、彼らの比較分析を促進し、環境学習ステップなどの専門的なエージェントの以前のソリューションが、より有能な基礎エージェントの開発を導く方法を明らかにします。
さらに、現在のCCAデータセットとCCA評価方法を確認し、そのようなエージェントを生産的な設定で展開するための課題の概要を説明します。
合計で、86のCCAと33の関連データセットをレビューおよび分類します。
トレンド、制限、将来の研究の方向性を強調することにより、この作業は、分野の幅広い理解を得て、その将来の発展を推進するための包括的な基盤を提示します。

要約(オリジナル)

Instruction-based computer control agents (CCAs) execute complex action sequences on personal computers or mobile devices to fulfill tasks using the same graphical user interfaces as a human user would, provided instructions in natural language. This review offers a comprehensive overview of the emerging field of instruction-based computer control, examining available agents — their taxonomy, development, and respective resources — and emphasizing the shift from manually designed, specialized agents to leveraging foundation models such as large language models (LLMs) and vision-language models (VLMs). We formalize the problem and establish a taxonomy of the field to analyze agents from three perspectives: (a) the environment perspective, analyzing computer environments; (b) the interaction perspective, describing observations spaces (e.g., screenshots, HTML) and action spaces (e.g., mouse and keyboard actions, executable code); and (c) the agent perspective, focusing on the core principle of how an agent acts and learns to act. Our framework encompasses both specialized and foundation agents, facilitating their comparative analysis and revealing how prior solutions in specialized agents, such as an environment learning step, can guide the development of more capable foundation agents. Additionally, we review current CCA datasets and CCA evaluation methods and outline the challenges to deploying such agents in a productive setting. In total, we review and classify 86 CCAs and 33 related datasets. By highlighting trends, limitations, and future research directions, this work presents a comprehensive foundation to obtain a broad understanding of the field and push its future development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google