User Embedding Model for Personalized Language Prompting

要約

長い履歴をモデル化することは、レコメンデーション システムを強化する上で極めて重要な役割を果たし、ユーザーの進化する好みを把握できるようになり、より正確でパーソナライズされたレコメンデーションが得られます。
この研究では、自然言語で嗜好を理解するために長いユーザー履歴をモデル化するという課題に取り組みます。
具体的には、自由形式テキストのユーザー履歴を圧縮して埋め込みとして表現することで効率的に処理し、LM へのソフト プロンプトとして使用する新しいユーザー埋め込みモジュール (UEM) を導入します。
私たちの実験では、従来のテキストベースのプロンプト方法と比較して、大幅に長い履歴を処理するこのアプローチの優れた機能が実証され、予測パフォーマンスが大幅に向上しました。
この研究の主な貢献は、埋め込みとして表現されたユーザー信号を使用して言語モデルにバイアスをかける能力を実証したことです。

要約(オリジナル)

Modeling long histories plays a pivotal role in enhancing recommendation systems, allowing to capture user’s evolving preferences, resulting in more precise and personalized recommendations. In this study we tackle the challenges of modeling long user histories for preference understanding in natural language. Specifically, we introduce a new User Embedding Module (UEM) that efficiently processes user history in free-form text by compressing and representing them as embeddings, to use them as soft prompts to a LM. Our experiments demonstrate the superior capability of this approach in handling significantly longer histories compared to conventional text based prompting methods, yielding substantial improvements in predictive performance. The main contribution of this research is to demonstrate the ability to bias language models with user signals represented as embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google