GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration

要約

グラフィカルユーザーインターフェイス（GUI）アクション接地は、GUI画面上の実行可能な要素に言語命令をマッピングするGUIオートメーションの重要なステップです。
GUIアクショングラウンドの最新の作品は、大規模なGUIデータセットを活用してMLLMを微調整します。
ただし、微調整データは常に限られたGUI環境をカバーしており、結果のモデルのパフォーマンスが新しい環境で悪化することがわかります。
推論が新しい環境、つまり以前の微調整中に使用されない環境を含むことが知られている場合、GUI接地モデルは新しい環境にさらに整合する必要があると主張します。
これを実現するために、最初にMLLMベースの自律剤であるGUI-Beeを提案し、探査を通じて高品質の環境固有のデータを収集し、収集されたデータでGUI接地モデルを継続的に微調整します。
私たちのエージェントは、探査の効率とデータの品質を最適化するために、新しいQ値とインセンティブインコンテキスト補強学習（Q-ICRL）方法を活用しています。
さらに、GOIのアクション接地モデルを新しい環境に整合させ、実験でGUI-BEEによって収集されたデータの有効性を実証できるように、データがどの程度適切に役立つかをテストするためのベンチマークであるNovelScreenspotを紹介します。
さらに、GUI-BEEの効率を高めるQ-ICRL法を検証するためにアブレーション研究を実施します。
プロジェクトページ：https：//gui-bee.github.io

要約(オリジナル)

Graphical User Interface (GUI) action grounding is a critical step in GUI automation that maps language instructions to actionable elements on GUI screens. Most recent works of GUI action grounding leverage large GUI datasets to fine-tune MLLMs. However, the fine-tuning data always covers limited GUI environments, and we find the performance of the resulting model deteriorates in novel environments. We argue that the GUI grounding models should be further aligned to the novel environments to reveal their full potential, when the inference is known to involve novel environments, i.e., environments not used during the previous fine-tuning. To realize this, we first propose GUI-Bee, an MLLM-based autonomous agent, to collect high-quality, environment-specific data through exploration and then continuously fine-tune GUI grounding models with the collected data. Our agent leverages a novel Q-value-Incentive In-Context Reinforcement Learning (Q-ICRL) method to optimize exploration efficiency and data quality. Additionally, we introduce NovelScreenSpot, a benchmark for testing how well the data can help align GUI action grounding models to novel environments and demonstrate the effectiveness of data collected by GUI-Bee in the experiments. Furthermore, we conduct an ablation study to validate the Q-ICRL method in enhancing the efficiency of GUI-Bee. Project page: https://gui-bee.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google