Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks

要約

スマートフォンは現代生活で不可欠になっていますが、モバイルデバイスでの複雑なタスクをナビゲートすることは、しばしばイライラし続けています。
大規模なマルチモーダルモデル（LMM）ベースのモバイルエージェントの最近の進歩は、モバイル環境で知覚し、行動する能力を実証しています。
しかし、現在のアプローチは大きな制限に直面しています。それらは、現実世界の人間のニーズに対処し、推論集約型および長老のタスクと闘っていること、そして以前の経験から学び改善するメカニズムを欠いています。
これらの課題を克服するために、過去の経験を通じて自己進化が可能な階層的なマルチエージェントフレームワークであるMobile-Agent-Eを紹介します。
階層とは、高レベルの計画と低レベルのアクション実行の明示的な分離を意味します。
このフレームワークは、複雑なタスクをサブゴールに分解することにより全体的な計画を考案する責任を負うマネージャーと、微細に粒の視覚的知覚、即時のアクション実行、エラーの確認を処理する4つのサブフォードエージェント（エクセプター、オペレーター、アクションリフレクター、およびノー​​トテイカー）の4つの従属エージェントを担当するマネージャーで構成されています。
、および情報集約、それぞれ。
Mobile-Agent-Eには、ヒントとショートカットで構成される永続的な長期メモリを維持する新しい自己進化モジュールも備えています。
ヒントは、一般的なガイダンスと、環境と効果的に対話する方法に関する以前のタスクから学んだ教訓です。
ショートカットは、特定のサブルーチンに合わせて調整された原子演算の再利用可能な実行可能なシーケンスです。
ヒントとショートカットを含めると、パフォーマンスと効率の継続的な改良が促進されます。
このフレームワークに加えて、モバイル-Eval-Eを紹介します。これは、長距離のマルチアプリの相互作用を必要とする複雑なモバイルタスクを備えた新しいベンチマークです。
経験的な結果は、モバイルエージェントEが、3つの基礎モデルバックボーンにわたる以前の最先端のアプローチに対して22％の絶対的な改善を達成することを示しています。
プロジェクトページ：https：//x-plug.github.io/mobileagent。

要約(オリジナル)

Smartphones have become indispensable in modern life, yet navigating complex tasks on mobile devices often remains frustrating. Recent advancements in large multimodal model (LMM)-based mobile agents have demonstrated the ability to perceive and act in mobile environments. However, current approaches face significant limitations: they fall short in addressing real-world human needs, struggle with reasoning-intensive and long-horizon tasks, and lack mechanisms to learn and improve from prior experiences. To overcome these challenges, we introduce Mobile-Agent-E, a hierarchical multi-agent framework capable of self-evolution through past experience. By hierarchical, we mean an explicit separation of high-level planning and low-level action execution. The framework comprises a Manager, responsible for devising overall plans by breaking down complex tasks into subgoals, and four subordinate agents–Perceptor, Operator, Action Reflector, and Notetaker–which handle fine-grained visual perception, immediate action execution, error verification, and information aggregation, respectively. Mobile-Agent-E also features a novel self-evolution module which maintains a persistent long-term memory comprising Tips and Shortcuts. Tips are general guidance and lessons learned from prior tasks on how to effectively interact with the environment. Shortcuts are reusable, executable sequences of atomic operations tailored for specific subroutines. The inclusion of Tips and Shortcuts facilitates continuous refinement in performance and efficiency. Alongside this framework, we introduce Mobile-Eval-E, a new benchmark featuring complex mobile tasks requiring long-horizon, multi-app interactions. Empirical results show that Mobile-Agent-E achieves a 22% absolute improvement over previous state-of-the-art approaches across three foundation model backbones. Project page: https://x-plug.github.io/MobileAgent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google