Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation

要約

トレーニング レコメンダー システム (RecSys) におけるグラフ畳み込みネットワーク (GCN) の効率とスケーラビリティは長年の懸念であり、現実世界のアプリケーションへの展開を妨げています。
この論文では、トレーニング段階でのグラフ畳み込みの必要性についての重要な検討を示し、革新的な代替手段である Light Post-Training Graph Ordinary-Differential-Equation (LightGODE) を紹介します。
私たちの調査により、GCN の利点はトレーニングよりもテスト中により顕著であることが明らかになりました。
これを動機として、LightGODE は、GCN の計算量の多いメッセージ パッシングをバイパスし、ノンパラメトリック連続グラフ常微分方程式 (ODE) を使用してノード表現を動的にモデル化する新しいトレーニング後のグラフ畳み込み手法を利用します。
このアプローチでは、トレーニング時間を大幅に短縮しながら、粒度の細かいトレーニング後のグラフ畳み込みを実現して、埋め込み不一致問題と呼ばれる元のトレーニング埋め込み空間の歪みを回避します。
さまざまなスケールのいくつかの実世界のデータセットにわたってモデルを検証し、LightGODE が効率と有効性の点で GCN ベースのモデルより優れているだけでなく、より深いグラフ畳み込み層に一般的に関連付けられている埋め込みの不一致を大幅に軽減していることを実証しました。
私たちの LightGODE は、RecSys トレーニングの一般的なパラダイムに挑戦し、グラフ畳み込みの役割を再評価することを提案し、効率的な大規模なグラフベースの RecSys の将来の開発を導く可能性があります。

要約(オリジナル)

The efficiency and scalability of graph convolution networks (GCNs) in training recommender systems (RecSys) have been persistent concerns, hindering their deployment in real-world applications. This paper presents a critical examination of the necessity of graph convolutions during the training phase and introduces an innovative alternative: the Light Post-Training Graph Ordinary-Differential-Equation (LightGODE). Our investigation reveals that the benefits of GCNs are more pronounced during testing rather than training. Motivated by this, LightGODE utilizes a novel post-training graph convolution method that bypasses the computation-intensive message passing of GCNs and employs a non-parametric continuous graph ordinary-differential-equation (ODE) to dynamically model node representations. This approach drastically reduces training time while achieving fine-grained post-training graph convolution to avoid the distortion of the original training embedding space, termed the embedding discrepancy issue. We validate our model across several real-world datasets of different scales, demonstrating that LightGODE not only outperforms GCN-based models in terms of efficiency and effectiveness but also significantly mitigates the embedding discrepancy commonly associated with deeper graph convolution layers. Our LightGODE challenges the prevailing paradigms in RecSys training and suggests re-evaluating the role of graph convolutions, potentially guiding future developments of efficient large-scale graph-based RecSys.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google