gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling

要約

カタログ サイズが大きいことは、レコメンデーション モデルのトレーニングにおける中心的な課題の 1 つです。アイテムの数が多いとメモリが消費され、トレーニング中にすべてのアイテムのスコアを計算する計算効率が非効率になり、これらのモデルはネガティブ サンプリングの導入を余儀なくされます。
ただし、ネガティブ サンプリングではトレーニング データ内のポジティブな相互作用の割合が増加するため、ネガティブ サンプリングでトレーニングされたモデルはポジティブな相互作用の確率を過大評価する傾向があり、これを過信と呼ぶ現象です。
予測スコアや確率の絶対値は、取得された推奨事項のランキングにとって重要ではありませんが、自信過剰なモデルは、上位にランク付けされた項目の微妙な違いを推定できず、パフォーマンスが低下する可能性があります。
この論文では、人気のある SASRec モデルが BERT4Rec と比較してパフォーマンスが低下する理由は過信によって説明されることを示します。
これは、パフォーマンスの違いが双方向のアテンション メカニズムによるものであるという BERT4Rec 作者の説明に反しています。
自信過剰を軽減するために、新しい一般化バイナリ相互エントロピー損失関数 (gBCE) を提案し、それが自信過剰を軽減できることを理論的に証明します。
さらに、ネガの数と gBCE 損失を増加させて SASRec を改良した gSASRec モデルを提案します。
3 つのデータセットに対する詳細な実験を通じて、gSASRec が過信問題を示さないことを示します。
結果として、gSASRec は BERT4Rec を上回るパフォーマンスを実現できます (例: MovieLens-1M データセットで NDCG +9.47%)。必要なトレーニング時間は短くなります (例: MovieLens-1M でのトレーニング時間は -73%)。
さらに、BERT4Rec とは対照的に、gSASRec は 100 万を超える項目を含む大規模なデータセットに適しています。

要約(オリジナル)

A large catalogue size is one of the central challenges in training recommendation models: a large number of items makes them memory and computationally inefficient to compute scores for all items during training, forcing these models to deploy negative sampling. However, negative sampling increases the proportion of positive interactions in the training data, and therefore models trained with negative sampling tend to overestimate the probabilities of positive interactions a phenomenon we call overconfidence. While the absolute values of the predicted scores or probabilities are not important for the ranking of retrieved recommendations, overconfident models may fail to estimate nuanced differences in the top-ranked items, resulting in degraded performance. In this paper, we show that overconfidence explains why the popular SASRec model underperforms when compared to BERT4Rec. This is contrary to the BERT4Rec authors explanation that the difference in performance is due to the bi-directional attention mechanism. To mitigate overconfidence, we propose a novel Generalised Binary Cross-Entropy Loss function (gBCE) and theoretically prove that it can mitigate overconfidence. We further propose the gSASRec model, an improvement over SASRec that deploys an increased number of negatives and the gBCE loss. We show through detailed experiments on three datasets that gSASRec does not exhibit the overconfidence problem. As a result, gSASRec can outperform BERT4Rec (e.g. +9.47% NDCG on the MovieLens-1M dataset), while requiring less training time (e.g. -73% training time on MovieLens-1M). Moreover, in contrast to BERT4Rec, gSASRec is suitable for large datasets that contain more than 1 million items.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google