Large Language Models Empowered Personalized Web Agents

要約

Webエージェントは、ユーザーの命令に基づいてWebタスクの完了を自動化するための有望な方向として浮上し、ユーザーエクスペリエンスを大幅に向上させています。
最近、Webエージェントは、従来のエージェントから大規模な言語モデル（LLMS）ベースのWebエージェントに進化しました。
その成功にもかかわらず、既存のLLMベースのWebエージェントは、ユーザーのパーソナライズされた指示の理解を支援し、カスタマイズされたアクションの実行におけるパーソナライズされたデータ（ユーザープロファイルや履歴Web行動など）の重要性を見落としています。
制限を克服するために、最初に、パーソナライズされたデータとユーザーの指示を統合して、命令の理解とアクションの実行をパーソナライズするためにパーソナライズされたデータとユーザーの指示を統合するLLM能力のあるパーソナライズされたWebエージェントのタスクを策定します。
包括的な評価ベンチマークの欠如に対処するために、3つのパーソナライズされたWebタスクにわたって、ユーザーの指示、パーソナライズされたユーザーデータ、Web機能、および2つの評価パラダイムを備えたパーソナライズされたWebエージェントベンチマーク（PersonalWab）を構築します。
さらに、パーソナライズされたユーザーメモリ強化アライメント（PUMA）フレームワークを提案して、LLMをパーソナライズされたWebエージェントタスクに適応させます。
PUMAは、タスク固有の検索戦略を備えたメモリバンクを利用して、関連する履歴Web動作をフィルタリングします。
動作に基づいて、PUMAは、微調整および直接優先最適化を通じてパーソナライズされたアクション実行のためにLLMSを調整します。
広範な実験は、PersonalWabの既存のWebエージェントに対するPUMAの優位性を検証します。

要約(オリジナル)

Web agents have emerged as a promising direction to automate Web task completion based on user instructions, significantly enhancing user experience. Recently, Web agents have evolved from traditional agents to Large Language Models (LLMs)-based Web agents. Despite their success, existing LLM-based Web agents overlook the importance of personalized data (e.g., user profiles and historical Web behaviors) in assisting the understanding of users’ personalized instructions and executing customized actions. To overcome the limitation, we first formulate the task of LLM-empowered personalized Web agents, which integrate personalized data and user instructions to personalize instruction comprehension and action execution. To address the absence of a comprehensive evaluation benchmark, we construct a Personalized Web Agent Benchmark (PersonalWAB), featuring user instructions, personalized user data, Web functions, and two evaluation paradigms across three personalized Web tasks. Moreover, we propose a Personalized User Memory-enhanced Alignment (PUMA) framework to adapt LLMs to the personalized Web agent task. PUMA utilizes a memory bank with a task-specific retrieval strategy to filter relevant historical Web behaviors. Based on the behaviors, PUMA then aligns LLMs for personalized action execution through fine-tuning and direct preference optimization. Extensive experiments validate the superiority of PUMA over existing Web agents on PersonalWAB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google