要約
ユーザーのタスクを完了するためにアプリケーション・ユーザー・インターフェースを自律的に駆動することができる自動化システムは、特にユーザーが状況的にまたは永続的に障害がある場合に、大きな利益をもたらす。先行する自動化システムは、一般化可能なモデルを生成しない一方で、AIベースの自動化エージェントは、シンプルで手作りのアプリケーションでのみ確実に動作するか、高い計算コストが発生します。我々はUINavを提案する。UINavは、モバイルデバイスに適合する自動化エージェントを訓練するためのデモンストレーションベースのアプローチであり、控えめな数のデモンストレーションで高い成功率を達成する。デモンストレーションのオーバーヘッドを削減するために、UINavはエージェントが失敗したタスクについてユーザに即座にフィードバックを提供するレフリーモデルを使用し、トレーニングデータの多様性を高めるために人間のデモンストレーションを自動的に補強する。我々の評価では、UINavはわずか10回のデモで70％の精度を達成し、十分なデモがあれば90％の精度を超えることができる。
要約(オリジナル)
Automation systems that can autonomously drive application user interfaces to complete user tasks are of great benefit, especially when users are situationally or permanently impaired. Prior automation systems do not produce generalizable models while AI-based automation agents work reliably only in simple, hand-crafted applications or incur high computation costs. We propose UINav, a demonstration-based approach to train automation agents that fit mobile devices, yet achieving high success rates with modest numbers of demonstrations. To reduce the demonstration overhead, UINav uses a referee model that provides users with immediate feedback on tasks where the agent fails, and automatically augments human demonstrations to increase diversity in training data. Our evaluation shows that with only 10 demonstrations UINav can achieve 70% accuracy, and that with enough demonstrations it can surpass 90% accuracy.
arxiv情報
| 著者 | Wei Li,Fu-Lin Hsu,Will Bishop,Folawiyo Campbell-Ajala,Max Lin,Oriana Riva |
| 発行日 | 2024-04-04 13:51:56+00:00 |
| arxivサイト | arxiv_id(pdf) |