VideolandGPT: A User Study on a Conversational Recommender System

要約

このペーパーでは、ユーザーの好みと既存のランキング モデルからのパーソナライズされた候補の選択を活用する会話型レコメンダー システムに特に焦点を当てて、大規模言語モデル (LLM) がレコメンダー システムをどのように強化できるかを調査します。
ビデオ オン デマンド (VOD) プラットフォーム Videoland のレコメンダー システムである VideolandGPT を紹介します。これは、ChatGPT を使用して、チャット インターフェイスとのユーザーの対話によって示される追加のコンテキストを考慮して、所定のコンテンツ セットから選択します。
被験者間のユーザー調査で、パーソナライズされたバージョンと非パーソナライズされたバージョンのシステムを比較して、ランキング指標、ユーザーエクスペリエンス、推奨の公平性を評価します。
私たちの結果は、パーソナライズされたバージョンが正確さと一般的なユーザー満足度の点でパーソナライズされていないバージョンよりも優れている一方、どちらのバージョンも推奨リストの上位にないアイテムの可視性を高めていることを示しています。
ただし、システムが Videoland では利用できない推奨事項を生成する可能性があるため、どちらのバージョンも公平性の点で一貫性のない動作を示します。

要約(オリジナル)

This paper investigates how large language models (LLMs) can enhance recommender systems, with a specific focus on Conversational Recommender Systems that leverage user preferences and personalised candidate selections from existing ranking models. We introduce VideolandGPT, a recommender system for a Video-on-Demand (VOD) platform, Videoland, which uses ChatGPT to select from a predetermined set of contents, considering the additional context indicated by users’ interactions with a chat interface. We evaluate ranking metrics, user experience, and fairness of recommendations, comparing a personalised and a non-personalised version of the system, in a between-subject user study. Our results indicate that the personalised version outperforms the non-personalised in terms of accuracy and general user satisfaction, while both versions increase the visibility of items which are not in the top of the recommendation lists. However, both versions present inconsistent behavior in terms of fairness, as the system may generate recommendations which are not available on Videoland.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google