Graph Contrastive Learning with Generative Adversarial Network

要約

グラフ ニューラル ネットワーク (GNN) は、教師付きエンドツーエンド トレーニングを通じて多くの下流タスクのノード表現を活用することで有望な結果を実証しました。
実世界のアプリケーションにおける広範なラベル不足の問題に対処するために、グラフ対照学習 (GCL) を利用して、元のグラフから生成された拡張ビュー内のノード間の相互情報を最大化することで、ラベルが限られた、またはラベルがまったくない GNN をトレーニングします。
ただし、グラフの分布はビューの生成において考慮されないままであり、その結果、ほとんどの既存の文献では目に見えないエッジが無視されます。これにより、実験では GCL のパフォーマンスを向上できることが経験的に示されています。
この目的を達成するために、i) 拡張のためのグラフの特性を自動的に捕捉し、ii) グラフ GAN モデルと GCL を共同でトレーニングするために、グラフ生成敵対的ネットワーク (GAN) を組み込んで GCL のビューの分布を学習することを提案します。
モデル。
具体的には、グラフ表現学習のための新しい敵対的生成対照学習ネットワークである GACN を紹介します。
GACN は、敵対的なスタイルで拡張ビューを自動的に生成するビュー ジェネレーターとビュー ディスクリミネーターを開発します。
次に、GACN はこれらのビューを利用して、グラフ対比損失とベイジアンの個別ランキング損失を含む 2 つの慎重に設計された自己教師あり学習損失を使用して GNN エンコーダーをトレーニングします。
さらに、すべての GACN モジュールを共同でトレーニングするための最適化フレームワークを設計します。
7 つの現実世界のデータセットに対する広範な実験により、GACN が GCL の高品質な拡張ビューを生成でき、12 の最先端のベースライン手法よりも優れていることが示されました。
注目すべきことに、私たちが提案した GACN は、驚くべきことに、データ拡張で生成されたビューが最終的にオンライン ネットワークでよく知られている優先接続ルールに準拠していることを発見しました。

要約(オリジナル)

Graph Neural Networks (GNNs) have demonstrated promising results on exploiting node representations for many downstream tasks through supervised end-to-end training. To deal with the widespread label scarcity issue in real-world applications, Graph Contrastive Learning (GCL) is leveraged to train GNNs with limited or even no labels by maximizing the mutual information between nodes in its augmented views generated from the original graph. However, the distribution of graphs remains unconsidered in view generation, resulting in the ignorance of unseen edges in most existing literature, which is empirically shown to be able to improve GCL’s performance in our experiments. To this end, we propose to incorporate graph generative adversarial networks (GANs) to learn the distribution of views for GCL, in order to i) automatically capture the characteristic of graphs for augmentations, and ii) jointly train the graph GAN model and the GCL model. Specifically, we present GACN, a novel Generative Adversarial Contrastive learning Network for graph representation learning. GACN develops a view generator and a view discriminator to generate augmented views automatically in an adversarial style. Then, GACN leverages these views to train a GNN encoder with two carefully designed self-supervised learning losses, including the graph contrastive loss and the Bayesian personalized ranking Loss. Furthermore, we design an optimization framework to train all GACN modules jointly. Extensive experiments on seven real-world datasets show that GACN is able to generate high-quality augmented views for GCL and is superior to twelve state-of-the-art baseline methods. Noticeably, our proposed GACN surprisingly discovers that the generated views in data augmentation finally conform to the well-known preferential attachment rule in online networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google