End-to-end Training for Recommendation with Language-based User Profiles

要約

多くのオンライン プラットフォームは、パーソナライズのためにユーザー プロファイルを維持しています。
残念ながら、これらのプロファイルは通常、ユーザーが解釈できず、簡単に変更できません。
この欠点を解決するために、推奨システムの透明性と精査性の向上を約束する自然言語ベースのユーザー プロファイルを検討します。
既存の研究では、標準 LLM の言語ベースのプロファイルが効果的であることが示されていますが、そのような汎用 LLM がこのタスクに最適である可能性は低いです。
このペーパーでは、推奨効果を最適化する言語ベースのユーザー プロファイルを生成する LLM をトレーニングするための初のエンドツーエンド学習方法である LangPTune を紹介します。
さまざまなトレーニング構成とベンチマークにわたる LangPTune の包括的な評価を通じて、私たちのアプローチが既存のプロファイルベースの方法よりも大幅に優れていることを実証しました。
さらに、最先端の透明性の低いレコメンダー システムに匹敵するパフォーマンス レベルに近づき、従来のシステムに代わる堅牢で解釈可能な代替手段を提供します。
最後に、クラウドワーカーを含むユーザー調査と GPT-4 ベースの評価を通じて、これらの言語ベースのユーザー プロファイルの相対的な解釈可能性を検証します。
LangPTune の実装は https://github.com/ZhaolinGao/LangPTune でご覧いただけます。

要約(オリジナル)

Many online platforms maintain user profiles for personalization. Unfortunately, these profiles are typically not interpretable or easily modifiable by the user. To remedy this shortcoming, we explore natural language-based user profiles, as they promise enhanced transparency and scrutability of recommender systems. While existing work has shown that language-based profiles from standard LLMs can be effective, such generalist LLMs are unlikely to be optimal for this task. In this paper, we introduce LangPTune, the first end-to-end learning method for training LLMs to produce language-based user profiles that optimize recommendation effectiveness. Through comprehensive evaluations of LangPTune across various training configurations and benchmarks, we demonstrate that our approach significantly outperforms existing profile-based methods. In addition, it approaches performance levels comparable to state-of-the-art, less transparent recommender systems, providing a robust and interpretable alternative to conventional systems. Finally, we validate the relative interpretability of these language-based user profiles through user studies involving crowdworkers and GPT-4-based evaluations. Implementation of LangPTune can be found at https://github.com/ZhaolinGao/LangPTune.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google