WebLINX: Real-World Website Navigation with Multi-Turn Dialogue

要約

私たちは、デジタル エージェントが Web ブラウザを制御し、ユーザーの指示に従い、複数回の対話形式で現実世界のタスクを解決する、会話型 Web ナビゲーションの問題を提案します。
この問題をサポートするために、WEBLINX を導入します。これは、会話型 Web ナビゲーションの 2,300 人の専門家によるデモンストレーションにわたる 10 万件のインタラクションの大規模なベンチマークです。
当社のベンチマークは、150 を超える実際の Web サイト上の幅広いパターンをカバーしており、さまざまなシナリオでエージェントをトレーニングおよび評価するために使用できます。
存在する情報の量が多いため、大規模言語モデル (LLM) は Web ページ全体をリアルタイムで処理できません。
このボトルネックを解決するために、関連する要素をランク付けすることで HTML ページを効率的にプルーニングする、検索にインスピレーションを得たモデルを設計します。
選択した要素とスクリーンショットおよびアクション履歴を使用して、Web をナビゲートする際の人間の行動を再現する能力についてさまざまなモデルを評価します。
私たちの実験は、小さなテキストのみから独自のマルチモーダル LLM まで多岐にわたります。
小規模な微調整されたデコーダーは、最高のゼロショット LLM (GPT-4V を含む) を上回るだけでなく、スクリーンショットで明示的に事前トレーニングされたより大きな微調整されたマルチモーダル モデルも上回ることがわかりました。
ただし、すべての微調整されたモデルは、目に見えない Web サイトに一般化するのに苦労しています。
私たちの調査結果は、新しい設定に一般化できる大規模なマルチモーダル モデルの必要性を浮き彫りにしています。
私たちのコード、データ、モデルは研究に利用できます: https://mcgill-nlp.github.io/weblinx

要約(オリジナル)

We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX – a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx

arxiv情報

提供元, 利用サービス

arxiv.jp, Google