RGI : Regularized Graph Infomax for self-supervised learning on graphs

要約

自己教師あり学習は、グラフでの表現学習における広範な注釈の要件を回避するためのソリューションとして、かなりの注目を集めています。
\textit{Regularized Graph Infomax (RGI)} を導入します。これは、ノード レベルのローカル ビューとグローバル ビューの間の相互情報を最大化することによって、グラフ ニューラル ネットワーク エンコーダーをトレーニングするグラフのノード レベルの自己教師あり学習のためのシンプルかつ効果的なフレームワークです。
グラフ レベルのグローバル ビューを採用する以前の作品。
この方法は、表現の共分散行列を正則化しながら、ビュー間の予測可能性を促進します。
したがって、RGI は非対照的であり、複雑な非対称アーキテクチャやトレーニング トリックに依存せず、オーグメンテーション フリーであり、2 ブランチ アーキテクチャに依存しません。
一般的なグラフ ベンチマークを使用して、変換設定と誘導設定の両方で RGI を実行し、その単純さに関係なく最先端のパフォーマンスを達成できることを示します。

要約(オリジナル)

Self-supervised learning is gaining considerable attention as a solution to avoid the requirement of extensive annotations in representation learning on graphs. We introduce \textit{Regularized Graph Infomax (RGI)}, a simple yet effective framework for node level self-supervised learning on graphs that trains a graph neural network encoder by maximizing the mutual information between node level local and global views, in contrast to previous works that employ graph level global views. The method promotes the predictability between views while regularizing the covariance matrices of the representations. Therefore, RGI is non-contrastive, does not depend on complex asymmetric architectures nor training tricks, is augmentation-free and does not rely on a two branch architecture. We run RGI on both transductive and inductive settings with popular graph benchmarks and show that it can achieve state-of-the-art performance regardless of its simplicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google