DistRL: An Asynchronous Distributed Reinforcement Learning Framework for On-Device Control Agents

要約

特にモバイルデバイスでのデバイス制御エージェントは、ユーザーの要求を満たすためにモバイルデバイスを操作し、シームレスで直感的なやり取りを可能にします。
これらのエージェントにマルチモーダル大手言語モデル（MLLMS）を統合すると、複雑なコマンドを理解および実行する能力が向上し、ユーザーエクスペリエンスが向上します。
ただし、デバイス上のコントロール用の微調整MLLMは、データの可用性と非効率的なオンライントレーニングプロセスにより、重要な課題を提示します。
このペーパーでは、モバイルデバイス制御エージェント向けのオンラインRL微調整の効率を高めるために設計された新しいフレームワークであるDistllを紹介します。
ディストリビューションは、一元化されたトレーニングと分散型のデータ収集を採用して、動的なオンラインインタラクションのコンテキストで効率的な微調整を確保しています。
さらに、このフレームワークは、テーラーメイドのRLアルゴリズムによって裏付けられており、収集されたデータの優先順位付けされた利用と、安定した堅牢なトレーニングを確保するために、探査と実質的にバランスを取ります。
私たちの実験は、平均して、ディストリビューションがトレーニング効率の3倍の改善を実現し、トレーニングデータ収集が主要な同期マルチマシンメソッドよりも2.4倍速くなることを示しています。
特に、トレーニング後、ディストリビューションは、オープンベンチマークからの一般的なAndroidタスクの最先端の方法と比較して、成功率の20％の相対的な改善を達成し、同じトレーニング時間を維持しながら既存のアプローチを大幅に上回ります。
これらの結果は、ディストリビューションをスケーラブルで効率的なソリューションとして検証し、現実世界の内部デバイス制御タスクのトレーニング効率とエージェントパフォーマンスの両方を大幅に改善します。

要約(オリジナル)

On-device control agents, especially on mobile devices, are responsible for operating mobile devices to fulfill users’ requests, enabling seamless and intuitive interactions. Integrating Multimodal Large Language Models (MLLMs) into these agents enhances their ability to understand and execute complex commands, thereby improving user experience. However, fine-tuning MLLMs for on-device control presents significant challenges due to limited data availability and inefficient online training processes. This paper introduces DistRL, a novel framework designed to enhance the efficiency of online RL fine-tuning for mobile device control agents. DistRL employs centralized training and decentralized data acquisition to ensure efficient fine-tuning in the context of dynamic online interactions. Additionally, the framework is backed by our tailor-made RL algorithm, which effectively balances exploration with the prioritized utilization of collected data to ensure stable and robust training. Our experiments show that, on average, DistRL delivers a 3X improvement in training efficiency and enables training data collection 2.4X faster than the leading synchronous multi-machine methods. Notably, after training, DistRL achieves a 20% relative improvement in success rate compared to state-of-the-art methods on general Android tasks from an open benchmark, significantly outperforming existing approaches while maintaining the same training time. These results validate DistRL as a scalable and efficient solution, offering substantial improvements in both training efficiency and agent performance for real-world, in-the-wild device control tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google