BASES: Large-scale Web Search User Simulation with Large Language Model based Agents

要約

大規模言語モデル (LLM) の優れた能力により、信頼性の高いユーザー シミュレーションのための LLM ベースのエージェントの開発が可能になります。
実際のユーザーデータの希少性と限界（プライバシー問題など）を考慮して、この論文では、ユーザーの検索行動の分析とモデリングを改善するために、Web検索の大規模なユーザーシミュレーションを実行します。
特に、LLM ベースのエージェントを備えた新しいユーザー シミュレーション フレームワークである BASES を提案します。これは、Web 検索ユーザーの行動の包括的なシミュレーションを容易にするように設計されています。
当社のシミュレーション フレームワークは、独自のユーザー プロファイルを大規模に生成でき、その後、多様な検索行動につながります。
BASES の有効性を実証するために、中国語と英語の両方で 2 つの人間のベンチマークに基づく評価実験を実施し、BASES が人間のような大規模な検索行動を効果的にシミュレートできることを実証しました。
ウェブ検索の研究にさらに対応するために、私たちは中国語版と英語版を含むウェブ検索ユーザーの行動を網羅する新しい大規模データセットである WARRIORS を開発し、情報検索分野の研究を大幅に強化します。
私たちのコードとデータは近々公開される予定です。

要約(オリジナル)

Due to the excellent capacities of large language models (LLMs), it becomes feasible to develop LLM-based agents for reliable user simulation. Considering the scarcity and limit (e.g., privacy issues) of real user data, in this paper, we conduct large-scale user simulation for web search, to improve the analysis and modeling of user search behavior. Specially, we propose BASES, a novel user simulation framework with LLM-based agents, designed to facilitate comprehensive simulations of web search user behaviors. Our simulation framework can generate unique user profiles at scale, which subsequently leads to diverse search behaviors. To demonstrate the effectiveness of BASES, we conduct evaluation experiments based on two human benchmarks in both Chinese and English, demonstrating that BASES can effectively simulate large-scale human-like search behaviors. To further accommodate the research on web search, we develop WARRIORS, a new large-scale dataset encompassing web search user behaviors, including both Chinese and English versions, which can greatly bolster research in the field of information retrieval. Our code and data will be publicly released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google