WebWISE: Web Interface Control and Sequential Exploration with Large Language Models

要約

この論文では、Large Language Model (LLM) を使用して、クリック、スクロール、およびテキスト入力操作を使用して Web ソフトウェア タスクを自動的に実行する方法について調査します。
強化学習 (RL) や模倣学習などのこれまでのアプローチは、トレーニングが非効率的であり、タスク固有のものでした。
私たちの方法では、フィルター処理されたドキュメント オブジェクト モデル (DOM) 要素を観測値として使用し、タスクを段階的に実行し、現在の観測値に基づいて小さなプログラムを順次生成します。
私たちは、手動で提供された 1 つの例、または成功したゼロショット トライアルに基づいて自動生成された例のいずれかを利用して、コンテキスト内学習を使用します。
提案された手法を MiniWob++ ベンチマークで評価します。
コンテキスト内の例が 1 つだけあるだけで、WebWISE メソッドは、多くのデモンストレーションやトライアルを必要とする他のメソッドと同等以上のパフォーマンスを達成します。

要約(オリジナル)

The paper investigates using a Large Language Model (LLM) to automatically perform web software tasks using click, scroll, and text input operations. Previous approaches, such as reinforcement learning (RL) or imitation learning, are inefficient to train and task-specific. Our method uses filtered Document Object Model (DOM) elements as observations and performs tasks step-by-step, sequentially generating small programs based on the current observations. We use in-context learning, either benefiting from a single manually provided example, or an automatically generated example based on a successful zero-shot trial. We evaluate the proposed method on the MiniWob++ benchmark. With only one in-context example, our WebWISE method achieves similar or better performance than other methods that require many demonstrations or trials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google