Investigating Out-of-Distribution Generalization of GNNs: An Architecture Perspective

要約

グラフ ニューラル ネットワーク (GNN) は、テスト データがトレーニング データの同じ分布から得られるという仮定の下で、顕著なパフォーマンスを示しました。
ただし、現実のシナリオでは、この仮定が常に有効であるとは限りません。
その結果、グラフのコンテキストで配布外 (OOD) 問題を調査することに注目が集まっています。
既存の取り組みのほとんどは、データ駆動型の手法と戦略ベースの学習という 2 つの \textbf{モデルに依存しない} 観点からグラフ OOD の一般化を改善することに主に集中しています。
しかし、グラフ OOD の一般化に対する既知の \textbf{GNN モデル アーキテクチャ} の影響を調査することに注力されているのは限られており、これは既存の研究とは直交しています。
この研究では、最新の GNN の共通構成要素を調査することにより、アーキテクチャの観点からグラフの OOD 一般化を初めて包括的に調査します。
広範な実験を通じて、グラフのセルフアテンション メカニズムと分離されたアーキテクチャの両方がグラフ OOD の一般化に積極的に寄与することを明らかにしました。
対照的に、線形分類層はグラフ OOD 一般化機能を損なう傾向があることがわかります。
さらに、これらの発見を裏付けるための深い理論的洞察と議論を提供します。
これらの洞察により、グラフ セルフ アテンション メカニズムと分離されたアーキテクチャの両方の堅牢な特性を活用するように設計された、新しい GNN バックボーン モデル DGAT を開発することができました。
広範な実験結果は、グラフ OOD の下でのモデルの有効性を実証し、さまざまなトレーニング戦略にわたって実質的かつ一貫した強化を示しています。

要約(オリジナル)

Graph neural networks (GNNs) have exhibited remarkable performance under the assumption that test data comes from the same distribution of training data. However, in real-world scenarios, this assumption may not always be valid. Consequently, there is a growing focus on exploring the Out-of-Distribution (OOD) problem in the context of graphs. Most existing efforts have primarily concentrated on improving graph OOD generalization from two \textbf{model-agnostic} perspectives: data-driven methods and strategy-based learning. However, there has been limited attention dedicated to investigating the impact of well-known \textbf{GNN model architectures} on graph OOD generalization, which is orthogonal to existing research. In this work, we provide the first comprehensive investigation of OOD generalization on graphs from an architecture perspective, by examining the common building blocks of modern GNNs. Through extensive experiments, we reveal that both the graph self-attention mechanism and the decoupled architecture contribute positively to graph OOD generalization. In contrast, we observe that the linear classification layer tends to compromise graph OOD generalization capability. Furthermore, we provide in-depth theoretical insights and discussions to underpin these discoveries. These insights have empowered us to develop a novel GNN backbone model, DGAT, designed to harness the robust properties of both graph self-attention mechanism and the decoupled architecture. Extensive experimental results demonstrate the effectiveness of our model under graph OOD, exhibiting substantial and consistent enhancements across various training strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google