Large Language Models Empowered Personalized Web Agents

要約

Web エージェントは、ユーザーの指示に基づいて Web タスクの完了を自動化し、ユーザー エクスペリエンスを大幅に向上させる有望な方向性として浮上しています。
最近、Web エージェントは従来のエージェントから大規模言語モデル (LLM) ベースの Web エージェントに進化しました。
既存の LLM ベースの Web エージェントは、成功にもかかわらず、ユーザーの個人化された指示の理解を支援し、カスタマイズされたアクションを実行する際の個人化されたデータ (ユーザー プロファイルや履歴 Web 行動など) の重要性を見落としています。
この制限を克服するために、まず、LLM を活用したパーソナライズされた Web エージェントのタスクを定式化します。このエージェントは、パーソナライズされたデータとユーザー指示を統合して、指示の理解とアクションの実行をパーソナライズします。
包括的な評価ベンチマークの欠如に対処するために、ユーザー指示、パーソナライズされたユーザー データ、Web 機能、および 3 つのパーソナライズされた Web タスクにわたる 2 つの評価パラダイムを特徴とするパーソナライズされた Web エージェント ベンチマーク (PersonalWAB) を構築します。
さらに、LLM をパーソナライズされた Web エージェントのタスクに適応させるための Personalized User Memory-enhanced Alignment (PUMA) フレームワークを提案します。
PUMA は、タスク固有の取得戦略を備えたメモリ バンクを利用して、関連する過去の Web 動作をフィルタリングします。
次に、PUMA は、行動に基づいて、微調整と直接的な設定の最適化を通じて、パーソナライズされたアクションを実行できるように LLM を調整します。
広範な実験により、PersonalWAB 上の既存の Web エージェントに対する PUMA の優位性が検証されています。

要約(オリジナル)

Web agents have emerged as a promising direction to automate Web task completion based on user instructions, significantly enhancing user experience. Recently, Web agents have evolved from traditional agents to Large Language Models (LLMs)-based Web agents. Despite their success, existing LLM-based Web agents overlook the importance of personalized data (e.g., user profiles and historical Web behaviors) in assisting the understanding of users’ personalized instructions and executing customized actions. To overcome the limitation, we first formulate the task of LLM-empowered personalized Web agents, which integrate personalized data and user instructions to personalize instruction comprehension and action execution. To address the absence of a comprehensive evaluation benchmark, we construct a Personalized Web Agent Benchmark (PersonalWAB), featuring user instructions, personalized user data, Web functions, and two evaluation paradigms across three personalized Web tasks. Moreover, we propose a Personalized User Memory-enhanced Alignment (PUMA) framework to adapt LLMs to the personalized Web agent task. PUMA utilizes a memory bank with a task-specific retrieval strategy to filter relevant historical Web behaviors. Based on the behaviors, PUMA then aligns LLMs for personalized action execution through fine-tuning and direct preference optimization. Extensive experiments validate the superiority of PUMA over existing Web agents on PersonalWAB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google