When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm

要約

人間中心の AI アプリケーションでは、ユーザーの行動分析が非常に重要です。
この分野では、十分かつ高品質のユーザー行動データを収集することが常に基本的かつ困難な問題となっています。
この問題に対処するための直感的なアイデアは、ユーザーの行動を自動的にシミュレートすることです。
ただし、人間の認知プロセスは主観的かつ複雑な性質を持っているため、ユーザーの行動を確実にシミュレートすることは困難です。
最近、大規模言語モデル (LLM) が目覚ましい成功を収め、人間のような知能を実現する大きな可能性を示しています。
私たちは、これらのモデルは信頼性の高いユーザー シミュレーションの重要な機会を提供し、ユーザー行動分析における従来の研究パラダイムに革命を起こす可能性があると主張します。
このペーパーでは、ユーザー シミュレーションに LLM を使用する可能性を探るために、レコメンダー システムを例に挙げます。
具体的には、各ユーザーをLLMベースの自律エージェントとみなし、RecAgentと呼ばれる仮想シミュレーター内でさまざまなエージェントが自由に通信、行動、進化できるようにします。
包括的なシミュレーションでは、レコメンダー システム内の動作 (\emph{例}、アイテムの閲覧やクリック) だけでなく、友人のチャットやソーシャル広告などの外部の影響要因も考慮します。
私たちのシミュレータには最大 1000 のエージェントが含まれており、各エージェントはプロファイリング モジュール、メモリ モジュール、およびアクション モジュールで構成されており、一貫して合理的かつ確実に動作することができます。
さらに、シミュレータをより柔軟に操作するために、実際の人間によるプレイとシステム介入を含む 2 つのグローバル機能も設計しています。
シミュレータの有効性を評価するために、私たちはエージェントとシステムの両方の観点から広範な実験を実施します。
この方向を前進させるために、私たちはプロジェクトを {https://github.com/RUC-GSAI/YuLan-Rec} でリリースしました。

要約(オリジナル)

User behavior analysis is crucial in human-centered AI applications. In this field, the collection of sufficient and high-quality user behavior data has always been a fundamental yet challenging problem. An intuitive idea to address this problem is automatically simulating the user behaviors. However, due to the subjective and complex nature of human cognitive processes, reliably simulating the user behavior is difficult. Recently, large language models (LLM) have obtained remarkable successes, showing great potential to achieve human-like intelligence. We argue that these models present significant opportunities for reliable user simulation, and have the potential to revolutionize traditional study paradigms in user behavior analysis. In this paper, we take recommender system as an example to explore the potential of using LLM for user simulation. Specifically, we regard each user as an LLM-based autonomous agent, and let different agents freely communicate, behave and evolve in a virtual simulator called RecAgent. For comprehensively simulation, we not only consider the behaviors within the recommender system (\emph{e.g.}, item browsing and clicking), but also accounts for external influential factors, such as, friend chatting and social advertisement. Our simulator contains at most 1000 agents, and each agent is composed of a profiling module, a memory module and an action module, enabling it to behave consistently, reasonably and reliably. In addition, to more flexibly operate our simulator, we also design two global functions including real-human playing and system intervention. To evaluate the effectiveness of our simulator, we conduct extensive experiments from both agent and system perspectives. In order to advance this direction, we have released our project at {https://github.com/RUC-GSAI/YuLan-Rec}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google