GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration

要約

グラフィカル ユーザー インターフェイス (GUI) アクションのグラウンディングは、言語の指示を GUI 画面上の実行可能な要素にマップする GUI 自動化における重要なステップです。
GUI アクショングラウンディングの最近の作品では、大規模な GUI データセットを活用して MLLM を微調整しています。
ただし、微調整データは常に限られた GUI 環境をカバーしており、新しい環境では結果として得られるモデルのパフォーマンスが低下することがわかります。
推論に新しい環境、つまり前回の微調整中に使用されなかった環境が含まれることがわかっている場合、GUI グラウンディング モデルはその可能性を最大限に発揮するために、新しい環境にさらに適合する必要があると主張します。
これを実現するために、まず MLLM ベースの自律エージェントである GUI-Bee を提案し、探索を通じて環境固有の高品質なデータを収集し、収集したデータを使用して GUI グラウンディング モデルを継続的に微調整します。
当社のエージェントは、新しい Q 値インセンティブ インコンテキスト強化学習 (Q-ICRL) 手法を活用して、探索効率とデータ品質を最適化します。
さらに、データが GUI アクショングラウンディングモデルを新しい環境にどの程度調整するのに役立つかをテストするためのベンチマークである NovelScreenSpot を紹介し、実験で GUI-Bee によって収集されたデータの有効性を実証します。
さらに、GUI-Bee の効率を高める Q-ICRL 法を検証するためにアブレーション研究を実施します。
プロジェクトページ：https://gui-bee.github.io

要約(オリジナル)

Graphical User Interface (GUI) action grounding is a critical step in GUI automation that maps language instructions to actionable elements on GUI screens. Most recent works of GUI action grounding leverage large GUI datasets to fine-tune MLLMs. However, the fine-tuning data always covers limited GUI environments, and we find the performance of the resulting model deteriorates in novel environments. We argue that the GUI grounding models should be further aligned to the novel environments to reveal their full potential, when the inference is known to involve novel environments, i.e., environments not used during the previous fine-tuning. To realize this, we first propose GUI-Bee, an MLLM-based autonomous agent, to collect high-quality, environment-specific data through exploration and then continuously fine-tune GUI grounding models with the collected data. Our agent leverages a novel Q-value-Incentive In-Context Reinforcement Learning (Q-ICRL) method to optimize exploration efficiency and data quality. Additionally, we introduce NovelScreenSpot, a benchmark for testing how well the data can help align GUI action grounding models to novel environments and demonstrate the effectiveness of data collected by GUI-Bee in the experiments. Furthermore, we conduct an ablation study to validate the Q-ICRL method in enhancing the efficiency of GUI-Bee. Project page: https://gui-bee.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google