要約
アプリケーションのユーザー インターフェイスを自律的に駆動してユーザーのタスクを完了できる自動化システムは、特にユーザーが状況的または永続的に障害を抱えている場合に大きなメリットがあります。
従来の自動化システムは一般化可能なモデルを生成しませんが、AI ベースの自動化エージェントは単純な手作りのアプリケーションでのみ確実に動作するか、高い計算コストがかかります。
私たちは、モバイル デバイスに適合する自動化エージェントをトレーニングし、適度な数のデモンストレーションで高い成功率を達成するデモンストレーション ベースのアプローチである UINav を提案します。
デモンストレーションのオーバーヘッドを削減するために、UINav は、エージェントが失敗したタスクについてユーザーに即時フィードバックを提供する審判モデルを使用し、人間によるデモンストレーションを自動的に強化してトレーニング データの多様性を高めます。
私たちの評価では、UINav はわずか 10 回のデモンストレーションで 70% の精度を達成でき、十分なデモンストレーションを行えば 90% の精度を超えることができることがわかりました。
要約(オリジナル)
Automation systems that can autonomously drive application user interfaces to complete user tasks are of great benefit, especially when users are situationally or permanently impaired. Prior automation systems do not produce generalizable models while AI-based automation agents work reliably only in simple, hand-crafted applications or incur high computation costs. We propose UINav, a demonstration-based approach to train automation agents that fit mobile devices, yet achieving high success rates with modest numbers of demonstrations. To reduce the demonstration overhead, UINav uses a referee model that provides users with immediate feedback on tasks where the agent fails, and automatically augments human demonstrations to increase diversity in training data. Our evaluation shows that with only 10 demonstrations UINav can achieve 70% accuracy, and that with enough demonstrations it can surpass 90% accuracy.
arxiv情報
| 著者 | Wei Li,Fu-Lin Hsu,Will Bishop,Folawiyo Campbell-Ajala,Max Lin,Oriana Riva |
| 発行日 | 2024-06-28 11:25:41+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google