PAARS: Persona Aligned Agentic Retail Shoppers

要約

eコマースでは、コストと遅い可能性のある意思決定のために行動データが収集されます。
LLMパワーエージェントを使用したシミュレーションは、人口の行動を表すための有望な代替手段として浮上しています。
ただし、LLMは、ブランドバイアス、レビューの評価バイアス、人口の特定のグループの限られた表現などの特定のバイアスを示すことが知られているため、ユーザーの行動に慎重にベンチマークされ、整列する必要があります。
最終的に、私たちの目標は、エージェント集団を統合し、それがまとめて人間の実際のサンプルに近似していることを確認することです。
この目的のために、次のフレームワークを提案します。（i）匿名の歴史的ショッピングデータからペルソナを自動的にマイニングすることにより、（ii）ショッピングセッションを統合するための小売固有のツールを装備し、（iii）は、人間と従来のレベルでの人口レベルでの人口レベルの間の分布違いを測定する新しいアライメントスイートを導入します。
実験結果は、ペルソナを使用すると、人間の行動とのギャップが残っているものの、アライメントスイートのパフォーマンスが向上することを示しています。
自動エージェントのA/Bテストのためのフレームワークの初期アプリケーションを紹介し、調査結果を人間の結果と比較します。
最後に、インパクトのある将来の仕事の舞台を設定するアプリケーション、制限、課題について説明します。

要約(オリジナル)

In e-commerce, behavioral data is collected for decision making which can be costly and slow. Simulation with LLM powered agents is emerging as a promising alternative for representing human population behavior. However, LLMs are known to exhibit certain biases, such as brand bias, review rating bias and limited representation of certain groups in the population, hence they need to be carefully benchmarked and aligned to user behavior. Ultimately, our goal is to synthesise an agent population and verify that it collectively approximates a real sample of humans. To this end, we propose a framework that: (i) creates synthetic shopping agents by automatically mining personas from anonymised historical shopping data, (ii) equips agents with retail-specific tools to synthesise shopping sessions and (iii) introduces a novel alignment suite measuring distributional differences between humans and shopping agents at the group (i.e. population) level rather than the traditional ‘individual’ level. Experimental results demonstrate that using personas improves performance on the alignment suite, though a gap remains to human behaviour. We showcase an initial application of our framework for automated agentic A/B testing and compare the findings to human results. Finally, we discuss applications, limitations and challenges setting the stage for impactful future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google