Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS

要約

ランダム グラフ理論の観点からグラフ ニューラル ネットワーク (GNN) アーキテクチャのパフォーマンスを分析します。
私たちのアプローチは、GNN のパフォーマンスをトレーニング データの典型的なケースの特性に結び付けることで、組み合わせ表現力や最悪の場合の敵対的分析などの GNN 分析に関する既存のレンズを補完することを約束します。
まず、コンテキスト確率ブロック モデル (cSBM) および関連モデルと比較して、1 層および 2 層の GCN のノードごとの精度を理論的に特徴付けます。
さらに、特定の状況下では GCN が線形モデルに勝てないことも証明します。
次に、データに関するさまざまな仮定の下で、4 つの多様な GNN アーキテクチャ (GCN、GAT、SAGE、および Graph Transformer) の回復可能性のしきい値を精度の観点から数値的にマッピングします。
この 2 番目の分析のサンプル結果には、ヘビーテール次数分布により GNN のパフォーマンスが向上すること、GNN は非常に異好性の高いグラフ上で適切に動作することができ、SAGE と Graph Transformer は任意のノイズを含むエッジ データ上で適切に動作することができますが、十分にノイズの多い特徴データを適切に処理できるアーキテクチャはありませんでした。
最後に、合成データ内の特定の高次構造と実際のデータ内の経験的構造の混合が、GNN のパフォーマンスにどのように劇的な影響 (通常はマイナス) を与えるかを示します。

要約(オリジナル)

We analyze the performance of graph neural network (GNN) architectures from the perspective of random graph theory. Our approach promises to complement existing lenses on GNN analysis, such as combinatorial expressive power and worst-case adversarial analysis, by connecting the performance of GNNs to typical-case properties of the training data. First, we theoretically characterize the nodewise accuracy of one- and two-layer GCNs relative to the contextual stochastic block model (cSBM) and related models. We additionally prove that GCNs cannot beat linear models under certain circumstances. Second, we numerically map the recoverability thresholds, in terms of accuracy, of four diverse GNN architectures (GCN, GAT, SAGE, and Graph Transformer) under a variety of assumptions about the data. Sample results of this second analysis include: heavy-tailed degree distributions enhance GNN performance, GNNs can work well on strongly heterophilous graphs, and SAGE and Graph Transformer can perform well on arbitrarily noisy edge data, but no architecture handled sufficiently noisy feature data well. Finally, we show how both specific higher-order structures in synthetic data and the mix of empirical structures in real data have dramatic effects (usually negative) on GNN performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google