Visual Test-time Scaling for GUI Agent Grounding

要約

Vision言語モデルエージェントの視覚的なテスト時間スケーリングアプローチであるRegionFocusを紹介します。
GUI画像の視覚的な複雑さと多数のインターフェイス要素のために、Webページを理解することは困難であり、正確なアクション選択が困難になっています。
私たちのアプローチは、関連する領域に動的に拡大し、背景の乱雑さを減らし、接地の精度を向上させます。
このプロセスをサポートするために、各ステップでキーランドマークを視覚化する画像としてのマップメカニズムを提案し、透明なアクションレコードを提供し、エージェントがアクション候補者から効果的に選択できるようにします。
単純な地域選択戦略を使用しても、2つの最先端のオープンビジョンモデルエージェント、UI-TAR、QWEN2.5-VLの上に、Screenspot-Proで28+\％、WebVoyagerベンチマークで28+\％の大幅なパフォーマンスが見られ、対話型の視覚的テストのスケーリングの有効性を強調しています。
QWEN2.5-VL-72BモデルにRegionFocusを適用することにより、Screenspot-Proベンチマークで61.6 \％の新しい最先端の接地性能を達成します。
私たちのコードは、https://github.com/tiangeluo/regionfocusで公開されます。

要約(オリジナル)

We introduce RegionFocus, a visual test-time scaling approach for Vision Language Model Agents. Understanding webpages is challenging due to the visual complexity of GUI images and the large number of interface elements, making accurate action selection difficult. Our approach dynamically zooms in on relevant regions, reducing background clutter and improving grounding accuracy. To support this process, we propose an image-as-map mechanism that visualizes key landmarks at each step, providing a transparent action record and enables the agent to effectively choose among action candidates. Even with a simple region selection strategy, we observe significant performance gains of 28+\% on Screenspot-pro and 24+\% on WebVoyager benchmarks on top of two state-of-the-art open vision language model agents, UI-TARS and Qwen2.5-VL, highlighting the effectiveness of visual test-time scaling in interactive settings. We achieve a new state-of-the-art grounding performance of 61.6\% on the ScreenSpot-Pro benchmark by applying RegionFocus to a Qwen2.5-VL-72B model. Our code will be released publicly at https://github.com/tiangeluo/RegionFocus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google