Towards Better Generalization with Flexible Representation of Multi-Module Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造のデータに対して学習と推論を実行するように設計された魅力的なモデルになりました。
ただし、より大きなグラフへのスケーリングや分布外 (OOD) 入力への一般化に関する GNN の基本的な制限を理解するための研究はほとんど行われていません。
この論文では、ランダム グラフ ジェネレーターを使用して、グラフ サイズと構造特性が GNN の予測パフォーマンスにどのような影響を与えるかを体系的に調査します。
我々は、平均ノード次数が GNN が目に見えないグラフに一般化できるかどうかを決定する際の重要な特徴であること、および複数のノード更新関数を使用することで、多峰性次数分布のグラフを扱うときに GNN の汎化パフォーマンスを向上できることを示す具体的な証拠を示します。
したがって、集約された入力に対する単一の正準非線形変換を一般化することで、ネットワークが新しいグラフに柔軟に適応できるようにするマルチモジュール GNN フレームワークを提案します。
私たちの結果は、マルチモジュール GNN がさまざまな構造的特徴の方向にさまざまな推論タスクにおける OOD 一般化を改善することを示しています。

要約(オリジナル)

Graph neural networks (GNNs) have become compelling models designed to perform learning and inference on graph-structured data. However, little work has been done to understand the fundamental limitations of GNNs for scaling to larger graphs and generalizing to out-of-distribution (OOD) inputs. In this paper, we use a random graph generator to systematically investigate how the graph size and structural properties affect the predictive performance of GNNs. We present specific evidence that the average node degree is a key feature in determining whether GNNs can generalize to unseen graphs, and that the use of multiple node update functions can improve the generalization performance of GNNs when dealing with graphs of multimodal degree distributions. Accordingly, we propose a multi-module GNN framework that allows the network to adapt flexibly to new graphs by generalizing a single canonical nonlinear transformation over aggregated inputs. Our results show that the multi-module GNNs improve the OOD generalization on a variety of inference tasks in the direction of diverse structural features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google