Self-supervision meets kernel graph neural models: From architecture to augmentations

要約

グラフ表現学習は現在、グラフ構造データを処理する際の事実上の標準となっており、メッセージ パッシング グラフ ニューラル ネットワーク (MPNN) のフレームワークが最も普及しているアルゴリズム ツールとなっています。
人気があるにもかかわらず、MPNN ファミリには透明性や表現力などのいくつかの欠点があります。
最近、グラフ カーネルの理論を使用してグラフ上にニューラル モデルを設計するというアイデアが、カーネル グラフ ニューラル ネットワーク (KGNN) として知られる MPNN のより透明性が高く、場合によってはより表現力豊かな代替手段として浮上しました。
KGNN の開発は現在初期の研究分野であり、アルゴリズム設計や自己教師あり学習などの他の学習パラダイムへの適応など、いくつかの課題が残されています。
この論文では、KGNN の設計と学習を改善します。
まず、ランダム ウォーク グラフ カーネルなどの以前の提案を包含する、より柔軟なグラフ レベルの類似性定義を可能にし、組み合わせ学習手順の導入の必要性を軽減するよりスムーズな最適化目標を提供することにより、KGNN のアルゴリズム定式化を拡張します。
次に、潜在グラフ拡張 (LGA) と呼ばれる新しい構造を保持するグラフ データ拡張手法を開発することで、自己監視のレンズを通して KGNN を強化します。
最後に、提案したメカニズムの有効性を実証するために広範な経験的評価を実行します。
ベンチマーク データセットに対する実験結果は、私たちが提案したモデルが、グラフ分類タスクの自己監視の有無にかかわらず、最先端のグラフ表現学習フレームワークと同等、または場合によってはそれを上回る競争力のあるパフォーマンスを達成していることを示唆しています。
以前に確立された他のグラフ データ拡張手法との比較により、提案された LGA 拡張スキームがグラフ レベルの不変性のセマンティクスをより適切に捉えていることが検証されます。

要約(オリジナル)

Graph representation learning has now become the de facto standard when handling graph-structured data, with the framework of message-passing graph neural networks (MPNN) being the most prevailing algorithmic tool. Despite its popularity, the family of MPNNs suffers from several drawbacks such as transparency and expressivity. Recently, the idea of designing neural models on graphs using the theory of graph kernels has emerged as a more transparent as well as sometimes more expressive alternative to MPNNs known as kernel graph neural networks (KGNNs). Developments on KGNNs are currently a nascent field of research, leaving several challenges from algorithmic design and adaptation to other learning paradigms such as self-supervised learning. In this paper, we improve the design and learning of KGNNs. Firstly, we extend the algorithmic formulation of KGNNs by allowing a more flexible graph-level similarity definition that encompasses former proposals like random walk graph kernel, as well as providing a smoother optimization objective that alleviates the need of introducing combinatorial learning procedures. Secondly, we enhance KGNNs through the lens of self-supervision via developing a novel structure-preserving graph data augmentation method called latent graph augmentation (LGA). Finally, we perform extensive empirical evaluations to demonstrate the efficacy of our proposed mechanisms. Experimental results over benchmark datasets suggest that our proposed model achieves competitive performance that is comparable to or sometimes outperforming state-of-the-art graph representation learning frameworks with or without self-supervision on graph classification tasks. Comparisons against other previously established graph data augmentation methods verify that the proposed LGA augmentation scheme captures better semantics of graph-level invariance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google