Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis

要約

グラフ ニューラル ネットワーク ベース モデル (GNN) の成功により、ユーザーとアイテムを二部構成の無向グラフとして効果的にモデル化することにより、レコメンダー システムが大幅に進歩しました。
ただし、多くのオリジナルのグラフベースの研究では、分析中の特定の構成に対する妥当性を検証せずに、ベースライン論文の結果を採用することがよくあります。
私たちの研究では、結果の再現性に重点を置くことでこの問題に対処しています。
3 つの一般的なベンチマーク データセット (Gowalla、Yelp 2018、Amazon Book) 上で 6 つの人気のある最近のグラフ推奨モデル (NGCF、DGCF、LightGCN、SGL、UltraGCN、および GFCF) の結果を正常に複製するコードを紹介します。
さらに、これらのグラフ モデルを、これまでオフライン評価で良好なパフォーマンスを示してきた従来の協調フィルタリング モデルと比較します。
さらに、既存の文献で確立された設定が不足している 2 つの新しいデータセット (Allrecipes と BookCrossing) に研究を拡張します。
これらのデータセットのパフォーマンスは以前のベンチマークとは異なるため、特定のデータセットの特性が推奨精度に及ぼす影響を分析します。
ユーザーの近隣からの情報フローを調査することで、どのモデルがデータセット構造の固有の特徴によって影響を受けるかを特定することを目的としています。
実験を再現するコードは、https://github.com/sisinflab/Graph-RSs-Reproducibility から入手できます。

要約(オリジナル)

The success of graph neural network-based models (GNNs) has significantly advanced recommender systems by effectively modeling users and items as a bipartite, undirected graph. However, many original graph-based works often adopt results from baseline papers without verifying their validity for the specific configuration under analysis. Our work addresses this issue by focusing on the replicability of results. We present a code that successfully replicates results from six popular and recent graph recommendation models (NGCF, DGCF, LightGCN, SGL, UltraGCN, and GFCF) on three common benchmark datasets (Gowalla, Yelp 2018, and Amazon Book). Additionally, we compare these graph models with traditional collaborative filtering models that historically performed well in offline evaluations. Furthermore, we extend our study to two new datasets (Allrecipes and BookCrossing) that lack established setups in existing literature. As the performance on these datasets differs from the previous benchmarks, we analyze the impact of specific dataset characteristics on recommendation accuracy. By investigating the information flow from users’ neighborhoods, we aim to identify which models are influenced by intrinsic features in the dataset structure. The code to reproduce our experiments is available at: https://github.com/sisinflab/Graph-RSs-Reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google