GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN)、特にメッセージ パッシング ニューラル ネットワークは、物理学、創薬、分子モデリングなどのさまざまな分野で優れています。
非同形グラフを識別する能力に関する GNN の表現力は、メッセージの集約とグラフ レベルの読み出しに使用される関数に大きく依存します。
信号伝播理論を適用することにより、表現力を維持しながら前方および後方のダイナミクスを改善する分散保存集約関数 (VPA) を提案します。
実験では、VPA が一般的な GNN アーキテクチャの予測パフォーマンスの向上と学習ダイナミクスの向上につながることを示しています。
私たちの結果は、ノーマライザーフリーまたは自己正規化 GNN への道を開く可能性があります。

要約(オリジナル)

Graph neural networks (GNNs), and especially message-passing neural networks, excel in various domains such as physics, drug discovery, and molecular modeling. The expressivity of GNNs with respect to their ability to discriminate non-isomorphic graphs critically depends on the functions employed for message aggregation and graph-level readout. By applying signal propagation theory, we propose a variance-preserving aggregation function (VPA) that maintains expressivity, but yields improved forward and backward dynamics. Experiments demonstrate that VPA leads to increased predictive performance for popular GNN architectures as well as improved learning dynamics. Our results could pave the way towards normalizer-free or self-normalizing GNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google