Graph Barlow Twins: A self-supervised representation learning framework for graphs

要約

自己教師あり学習 (SSL) パラダイムは、高価なデータのラベル付けの必要性を排除しようとする重要な研究領域です。
コンピューター ビジョンや自然言語処理における SSL 手法は大きな成功を収めていますが、そのほとんどは、定義が難しいネガティブ サンプルを必要とする対照的な学習目標を採用しています。
これはグラフの場合にはさらに困難になり、堅牢な表現を実現するためのボトルネックになります。
このような制限を克服するために、負のサンプルの代わりに相互相関ベースの損失関数を利用する、自己教師ありグラフ表現学習のフレームワークである Graph Barlow Twins を提案します。
さらに、最先端の自己教師ありグラフ表現学習手法 BGRL とは対照的に、非対称ニューラル ネットワーク アーキテクチャに依存しません。
私たちの手法は、より少ないハイパーパラメーターと大幅に短い計算時間 (BGRL よりも約 30 倍高速) を必要としながら、最良の自己教師あり手法および完全教師あり手法と同等の結果を達成できることを示します。

要約(オリジナル)

The self-supervised learning (SSL) paradigm is an essential exploration area, which tries to eliminate the need for expensive data labeling. Despite the great success of SSL methods in computer vision and natural language processing, most of them employ contrastive learning objectives that require negative samples, which are hard to define. This becomes even more challenging in the case of graphs and is a bottleneck for achieving robust representations. To overcome such limitations, we propose a framework for self-supervised graph representation learning – Graph Barlow Twins, which utilizes a cross-correlation-based loss function instead of negative samples. Moreover, it does not rely on non-symmetric neural network architectures – in contrast to state-of-the-art self-supervised graph representation learning method BGRL. We show that our method achieves as competitive results as the best self-supervised methods and fully supervised ones while requiring fewer hyperparameters and substantially shorter computation time (ca. 30 times faster than BGRL).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google