LightGNN: Simple Graph Neural Network for Recommendation

要約

グラフ ニューラル ネットワーク (GNN) は、高次表現のスムージングを実行し、ユーザーの対話パターン内の構造情報を効果的にキャプチャする機能により、共同レコメンデーションにおいて優れたパフォーマンスを実証しています。
ただし、既存の GNN パラダイムは、大規模でノイズの多い現実世界のデータセットを処理する場合、スケーラビリティと堅牢性において重大な課題に直面しています。
これらの課題に対処するために、重要なコラボレーション モデリング機能を維持しながらモデルの複雑さを大幅に軽減するように設計された軽量の蒸留ベースの GNN プルーニング フレームワークである LightGNN を紹介します。
当社の LightGNN フレームワークには、計算効率の高い枝刈りモジュールが導入されており、モデル圧縮のために冗長なエッジと埋め込みエントリを適応的に識別して削除します。
このフレームワークは、リソースに優しい階層的な知識抽出目標によって導かれ、その中間層は、特に高レートの圧縮シナリオでパフォーマンスを維持するために、観察されたグラフを拡張します。
公開データセットに対する広範な実験により、LightGNN の有効性が実証され、計算効率と推奨精度の両方が大幅に向上しました。
特に、LightGNN は、より複雑な最先端のベースラインに匹敵するパフォーマンスを維持しながら、エッジ数の 80% 削減と埋め込みエントリの 90% 削減を達成しています。
LightGNN フレームワークの実装は、github リポジトリ: https://github.com/HKUDS/LightGNN で入手できます。

要約(オリジナル)

Graph neural networks (GNNs) have demonstrated superior performance in collaborative recommendation through their ability to conduct high-order representation smoothing, effectively capturing structural information within users’ interaction patterns. However, existing GNN paradigms face significant challenges in scalability and robustness when handling large-scale, noisy, and real-world datasets. To address these challenges, we present LightGNN, a lightweight and distillation-based GNN pruning framework designed to substantially reduce model complexity while preserving essential collaboration modeling capabilities. Our LightGNN framework introduces a computationally efficient pruning module that adaptively identifies and removes redundant edges and embedding entries for model compression. The framework is guided by a resource-friendly hierarchical knowledge distillation objective, whose intermediate layer augments the observed graph to maintain performance, particularly in high-rate compression scenarios. Extensive experiments on public datasets demonstrate LightGNN’s effectiveness, significantly improving both computational efficiency and recommendation accuracy. Notably, LightGNN achieves an 80% reduction in edge count and 90% reduction in embedding entries while maintaining performance comparable to more complex state-of-the-art baselines. The implementation of our LightGNN framework is available at the github repository: https://github.com/HKUDS/LightGNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google