When Newer is Not Better: Does Deep Learning Really Benefit Recommendation From Implicit Feedback?

要約

タイトル：Implicit FeedbackからのレコメンデーションにおいてDeep Learningは本当に優れているのか？

要約：

– 近年、ニューラルモデルが推薦において最先端のパフォーマンスを示すとたびたび主張されている。
– ただし、多数の最近の研究で、多数のニューラル推薦モデルの報告された最先端の結果が確実に複製できないことが明らかになっている。
– その主要な理由の1つは、既存の評価がさまざまな不一致したプロトコルの下で実施されていることです。
– 対応するように、これらの複製性の問題は、これらのニューラルモデルから実際にどれだけの利益を得られるかを理解するのが困難になっています。
– この状況を踏まえ、我々は暗黙的データからのトップnレコメンデーションにおける最近のニューラル推薦モデルと伝統的な推薦モデルの比較を行うための大規模で体系的な研究を行いました。
– 我々は、推薦モデルのメモリ化パフォーマンス、汎化パフォーマンス、および特定のサブグループのパフォーマンスを測定するための評価戦略を提案します。
– 我々は、9つの一般的に使用されるデータセットで13の人気のある推薦モデル（ニューラルモデル2つとベースラインとしての伝統的なモデル11つ）で広範囲な実験を実施しました。
– 実験の結果、多数のニューラルモデルはすべての側面において伝統的なモデルを上回るわけではなく、たとえば平均ヒットレートにおいて劣ることが明らかになった。
– また、ニューラルモデルが非ニューラルモデルを上回る領域があることがわかりました。例えば、レコメンデーションの多様性と異なるユーザーやアイテムのサブグループ間での頑健性です。
– この研究は、推薦におけるニューラルモデルの相対的な利点と欠点を明らかにし、より優れたレコメンデーションシステムの構築に向けた重要な一歩となります。

要約(オリジナル)

In recent years, neural models have been repeatedly touted to exhibit state-of-the-art performance in recommendation. Nevertheless, multiple recent studies have revealed that the reported state-of-the-art results of many neural recommendation models cannot be reliably replicated. A primary reason is that existing evaluations are performed under various inconsistent protocols. Correspondingly, these replicability issues make it difficult to understand how much benefit we can actually gain from these neural models. It then becomes clear that a fair and comprehensive performance comparison between traditional and neural models is needed. Motivated by these issues, we perform a large-scale, systematic study to compare recent neural recommendation models against traditional ones in top-n recommendation from implicit data. We propose a set of evaluation strategies for measuring memorization performance, generalization performance, and subgroup-specific performance of recommendation models. We conduct extensive experiments with 13 popular recommendation models (including two neural models and 11 traditional ones as baselines) on nine commonly used datasets. Our experiments demonstrate that even with extensive hyper-parameter searches, neural models do not dominate traditional models in all aspects, e.g., they fare worse in terms of average HitRate. We further find that there are areas where neural models seem to outperform non-neural models, for example, in recommendation diversity and robustness between different subgroups of users and items. Our work illuminates the relative advantages and disadvantages of neural models in recommendation and is therefore an important step towards building better recommender systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI