MobileAgent: enhancing mobile control via human-machine interaction and SOP integration

要約

Large Language Model (LLM) を中心としたエージェントは、ユーザーのモバイル デバイス操作を自動化できるようになりました。
これらのエージェントは、微調整してユーザーのモバイル操作を学習した後、オンラインでの高レベルのユーザー指示に従うことができます。
最終目標が達成されるまで、目標の分解、サブ目標の順序付け、インタラクティブな環境探索などのタスクを実行します。
ただし、モバイル操作中にはパーソナライズされたユーザー データに関連するプライバシー上の懸念が生じ、ユーザーの確認が必要になります。
さらに、ユーザーの実際の操作は探索的なものであり、アクション データは複雑で冗長であるため、エージェントの学習に課題が生じています。
これらの問題に対処するために、実際のアプリケーションでは、機密情報を特定し、パーソナライズされたユーザーのニーズに合わせるために、エージェントと人間の間の対話型タスクを設計しました。
さらに、モデルのコンテキスト内学習に標準操作手順 (SOP) 情報を統合し、複雑なタスクの実行に対するエージェントの理解を強化しました。
私たちのアプローチは、新しいデバイス制御ベンチマーク AitW で評価されます。AitW には、アプリケーション操作、Web 検索、Web ショッピングなどの複数ステップのタスクにわたる 30,000 の固有の命令が含まれます。
実験結果は、SOP ベースのエージェントが追加の推論コストを発生させることなく最先端のパフォーマンスを達成し、全体的なアクション成功率が 66.92% であることを示しています。

要約(オリジナル)

Agents centered around Large Language Models (LLMs) are now capable of automating mobile device operations for users. After fine-tuning to learn a user’s mobile operations, these agents can adhere to high-level user instructions online. They execute tasks such as goal decomposition, sequencing of sub-goals, and interactive environmental exploration, until the final objective is achieved. However, privacy concerns related to personalized user data arise during mobile operations, requiring user confirmation. Moreover, users’ real-world operations are exploratory, with action data being complex and redundant, posing challenges for agent learning. To address these issues, in our practical application, we have designed interactive tasks between agents and humans to identify sensitive information and align with personalized user needs. Additionally, we integrated Standard Operating Procedure (SOP) information within the model’s in-context learning to enhance the agent’s comprehension of complex task execution. Our approach is evaluated on the new device control benchmark AitW, which encompasses 30K unique instructions across multi-step tasks, including application operation, web searching, and web shopping. Experimental results show that the SOP-based agent achieves state-of-the-art performance without incurring additional inference costs, boasting an overall action success rate of 66.92%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google