Navigating WebAI: Training Agents to Complete Web Tasks with Large Language Models and Reinforcement Learning

要約

言語モデルの最近の進歩により、Web ナビゲーションなどのさまざまな自然言語処理 (NLP) タスクが大幅に向上していることが実証されています。
教師あり学習 (SL) アプローチは、以前の方法と比較して大幅に少ないトレーニング データを使用しながら、優れたパフォーマンスを達成しました。
ただし、これらの SL ベースのモデルは、優れた結果を示している強化学習 (RL) アプローチと比較すると不十分です。
このペーパーでは、MiniWoB ベンチマーク上で SL 技術と RL 技術を組み合わせ、両方の方法の長所を活用する新しいアプローチを提案します。
また、以前のモデルの HTML コンテンツの理解における重大な制限にも対処し、基礎となる構造を理解するよりもターゲット要素を記憶する傾向を明らかにしました。
これを修正するために、私たちは真の理解を強化し、結果の新しいベースラインを提示する方法を提案します。
私たちの実験は、私たちのアプローチがより少ないデータを使用して特定のタスクで以前の SL 手法よりも優れたパフォーマンスを発揮し、RL モデルとのパフォーマンスのギャップを縮め、SL で 43.58\% の平均精度を達成し、マルチモーダル RL アプローチと組み合わせた場合に 36.69\% の平均精度を達成することを示しています。
この研究は、将来の Web ナビゲーションの新しい方向性を示し、コンピューター タスクの言語モデリングの限界と可能性についての洞察を提供します。

要約(オリジナル)

Recent advancements in language models have demonstrated remarkable improvements in various natural language processing (NLP) tasks such as web navigation. Supervised learning (SL) approaches have achieved impressive performance while utilizing significantly less training data compared to previous methods. However, these SL-based models fall short when compared to reinforcement learning (RL) approaches, which have shown superior results. In this paper, we propose a novel approach that combines SL and RL techniques over the MiniWoB benchmark to leverage the strengths of both methods. We also address a critical limitation in previous models’ understanding of HTML content, revealing a tendency to memorize target elements rather than comprehend the underlying structure. To rectify this, we propose methods to enhance true understanding and present a new baseline of results. Our experiments demonstrate that our approach outperforms previous SL methods on certain tasks using less data and narrows the performance gap with RL models, achieving 43.58\% average accuracy in SL and 36.69\% when combined with a multimodal RL approach. This study sets a new direction for future web navigation and offers insights into the limitations and potential of language modeling for computer tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google