A Study on Accuracy, Miscalibration, and Popularity Bias in Recommendations

要約

最近の調査では、レコメンデーションのパフォーマンスの不一致を測定するためのさまざまな指標が提案されています。これには、ユーザー グループ間の精度の違い、調整ミス、人気度の上昇が含まれます。
ただし、さまざまなユーザーグループ間での調整ミスと人気の上昇をレコメンデーションの精度に関連付ける研究はまだありません.
さらに、特定のジャンルが、ユーザー グループ間でレコメンデーション パフォーマンスの不一致の出現に寄与しているかどうかは不明です。
このホワイト ペーパーでは、人気のあるコンテンツに対する好みが異なるユーザー グループ向けの 5 つのよく知られたレコメンデーション アルゴリズムのこれら 3 つの側面の分析を提示します。
さらに、さまざまなジャンルが推奨パフォーマンスの不一致にどのように影響するか、およびこれがどのようにジャンルの人気と一致しているかを調査します。
LastFm、MovieLens、および MyAnimeList からのデータを使用して、2 つの重要な調査結果を提示します。
まず、人気のあるコンテンツにほとんど関心のないユーザーはレコメンデーションの精度が最も低く、これは調整ミスと人気上昇と一致していることがわかりました。
第二に、私たちの実験では、特に MyAnimeList データセットの場合のミスキャリブレーションに関して、特定のジャンルがレコメンデーションのパフォーマンスの不一致にさまざまな程度で寄与することが示されています。

要約(オリジナル)

Recent research has suggested different metrics to measure the inconsistency of recommendation performance, including the accuracy difference between user groups, miscalibration, and popularity lift. However, a study that relates miscalibration and popularity lift to recommendation accuracy across different user groups is still missing. Additionally, it is unclear if particular genres contribute to the emergence of inconsistency in recommendation performance across user groups. In this paper, we present an analysis of these three aspects of five well-known recommendation algorithms for user groups that differ in their preference for popular content. Additionally, we study how different genres affect the inconsistency of recommendation performance, and how this is aligned with the popularity of the genres. Using data from LastFm, MovieLens, and MyAnimeList, we present two key findings. First, we find that users with little interest in popular content receive the worst recommendation accuracy, and that this is aligned with miscalibration and popularity lift. Second, our experiments show that particular genres contribute to a different extent to the inconsistency of recommendation performance, especially in terms of miscalibration in the case of the MyAnimeList dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google