Benchmarking Mobile Device Control Agents across Diverse Configurations

要約

モバイル デバイス用の自律エージェントを開発すると、効率とアクセシビリティが向上し、ユーザー インタラクションが大幅に強化されます。
しかし、モバイル デバイス コントロール エージェントへの関心が高まっているにもかかわらず、一般的に採用されているベンチマークがないため、この分野における科学の進歩を定量化することが困難になっています。
この研究では、モバイル デバイス制御エージェントを評価するために特別に設計された新しいベンチマークである B-MoCA を紹介します。
現実的なベンチマークを作成するために、Android オペレーティング システムに基づいて B-MoCA を開発し、60 の一般的な日常タスクを定義します。
重要なのは、汎化パフォーマンスを評価するために、ユーザー インターフェイスのレイアウトや言語設定など、モバイル デバイスのさまざまな側面を変更するランダム化機能を組み込んでいることです。
当社では、大規模言語モデル (LLM) またはマルチモーダル LLM を採用するエージェントや、人間の専門家によるデモンストレーションを使用してゼロからトレーニングされたエージェントなど、さまざまなエージェントのベンチマークを行っています。
これらのエージェントは単純なタスクの実行には熟練していることを示していますが、複雑なタスクではパフォーマンスが低いため、エージェントの有効性を高めるための将来の研究に大きなチャンスがあることが浮き彫りになっています。
私たちのソースコードは https://b-moca.github.io で公開されています。

要約(オリジナル)

Developing autonomous agents for mobile devices can significantly enhance user interactions by offering increased efficiency and accessibility. However, despite the growing interest in mobile device control agents, the absence of a commonly adopted benchmark makes it challenging to quantify scientific progress in this area. In this work, we introduce B-MoCA: a novel benchmark designed specifically for evaluating mobile device control agents. To create a realistic benchmark, we develop B-MoCA based on the Android operating system and define 60 common daily tasks. Importantly, we incorporate a randomization feature that changes various aspects of mobile devices, including user interface layouts and language settings, to assess generalization performance. We benchmark diverse agents, including agents employing large language models (LLMs) or multi-modal LLMs as well as agents trained from scratch using human expert demonstrations. While these agents demonstrate proficiency in executing straightforward tasks, their poor performance on complex tasks highlights significant opportunities for future research to enhance their effectiveness. Our source code is publicly available at https://b-moca.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google