L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering

要約

グラフ ニューラル ネットワーク (GNN) は、協調フィルタリングで近傍信号をモデル化するための効果的なアプローチとして最近登場しました。
この研究分野に向けて、グラフ対比学習 (GCL) は、大量の自己教師あり信号を生成することで、教師ラベル不足の問題に対処する堅牢な機能を実証します。
その有効性にもかかわらず、レコメンデーション用の GCL は 2 つの主な課題に深刻に悩まされています。i) GCL はグラフ拡張に依存して、意味的に異なる対比ビューを生成します。これにより、重要な情報が破壊され、不要なノイズが発生する可能性があります。
ii) GCL の現在の研究は主に、高度なネットワーク アーキテクチャ (通常は深い) を使用して高次の相互作用を捕捉する対照的な表現に焦点を当てており、これにより計算の複雑さが増大し、最適化されていないトレーニング効率が生じます。
この目的を達成するために、私たちは、異なる層からの表現を対比する原則に基づいた層間対照学習フレームワークである L2CL を提案します。
L2CL は、異なるレイヤー間の意味論的な類似性を調整することで、複雑な構造関係を学習できるようにし、確率的データ拡張におけるノイズ摂動を除去します。
驚くべきことに、ワンホップの対比学習パラダイムのみを使用する L2CL が、固有の意味構造を捕捉し、ノード表現の品質を向上させ、シンプルでありながら効果的なアーキテクチャを実現できることがわかりました。
また、タスクに無関係な情報を最小限に抑えるための L2CL の理論上の保証も提供します。
5 つの現実世界のデータセットに対する広範な実験により、さまざまな最先端の協調フィルタリング手法に対するこのモデルの優位性が実証されました。
私たちのコードは https://github.com/downeykking/L2CL で入手できます。

要約(オリジナル)

Graph neural networks (GNNs) have recently emerged as an effective approach to model neighborhood signals in collaborative filtering. Towards this research line, graph contrastive learning (GCL) demonstrates robust capabilities to address the supervision label shortage issue through generating massive self-supervised signals. Despite its effectiveness, GCL for recommendation suffers seriously from two main challenges: i) GCL relies on graph augmentation to generate semantically different views for contrasting, which could potentially disrupt key information and introduce unwanted noise; ii) current works for GCL primarily focus on contrasting representations using sophisticated networks architecture (usually deep) to capture high-order interactions, which leads to increased computational complexity and suboptimal training efficiency. To this end, we propose L2CL, a principled Layer-to-Layer Contrastive Learning framework that contrasts representations from different layers. By aligning the semantic similarities between different layers, L2CL enables the learning of complex structural relationships and gets rid of the noise perturbation in stochastic data augmentation. Surprisingly, we find that L2CL, using only one-hop contrastive learning paradigm, is able to capture intrinsic semantic structures and improve the quality of node representation, leading to a simple yet effective architecture. We also provide theoretical guarantees for L2CL in minimizing task-irrelevant information. Extensive experiments on five real-world datasets demonstrate the superiority of our model over various state-of-the-art collaborative filtering methods. Our code is available at https://github.com/downeykking/L2CL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google