Graph Neural Networks Use Graphs When They Shouldn’t

要約

グラフの予測は、ソーシャル ネットワーク、分子生物学、医学などを含むさまざまな領域で重要な役割を果たします。
グラフ ニューラル ネットワーク (GNN) は、グラフ データを学習するための主要なアプローチとして浮上しています。
グラフのラベル付け問題のインスタンスは、ノード固有の特徴ベクトルとともにグラフ構造 (つまり、隣接行列) で構成されます。
場合によっては、このグラフ構造は予測タスクにとって有益ではありません。
たとえば、分子量などの分子特性は、分子構造ではなく、構成原子 (ノードの特徴) のみに依存します。
GNN はそのような場合にグラフ構造を無視することができますが、実際に無視するかどうかは明らかではありません。
この研究では、GNN はグラフ構造を無視することでより良い解が得られる場合でもグラフ構造を使用するという意味で、グラフ構造を実際に過剰適合させる傾向があることを示します。
この現象をさまざまなグラフ分布に関して調べたところ、通常のグラフがこの過学習に対してより堅牢であることがわかりました。
次に、この設定における GNN の勾配降下ベースの学習の暗黙的なバイアスを分析することにより、この現象の理論的説明を提供します。
最後に、経験的および理論的発見に基づいて、GNN が無視すべきグラフ構造を過剰適合させる傾向を軽減するグラフ編集方法を提案します。
この方法により、複数のベンチマークにわたって GNN の精度が実際に向上することを示します。

要約(オリジナル)

Predictions over graphs play a crucial role in various domains, including social networks, molecular biology, medicine, and more. Graph Neural Networks (GNNs) have emerged as the dominant approach for learning on graph data. Instances of graph labeling problems consist of the graph-structure (i.e., the adjacency matrix), along with node-specific feature vectors. In some cases, this graph-structure is non-informative for the predictive task. For instance, molecular properties such as molar mass depend solely on the constituent atoms (node features), and not on the molecular structure. While GNNs have the ability to ignore the graph-structure in such cases, it is not clear that they will. In this work, we show that GNNs actually tend to overfit the graph-structure in the sense that they use it even when a better solution can be obtained by ignoring it. We examine this phenomenon with respect to different graph distributions and find that regular graphs are more robust to this overfitting. We then provide a theoretical explanation for this phenomenon, via analyzing the implicit bias of gradient-descent-based learning of GNNs in this setting. Finally, based on our empirical and theoretical findings, we propose a graph-editing method to mitigate the tendency of GNNs to overfit graph-structures that should be ignored. We show that this method indeed improves the accuracy of GNNs across multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google