Homophily modulates double descent generalization in graph convolution networks

要約

グラフ ニューラル ネットワークは、代謝、交通、ソーシャル ネットワークなどのリレーショナル データセットに対して最も成功した機械学習モデルの 1 つです。
しかし、データにエンコードされた多様な相互作用の強力な一般化の決定要因はよく理解されていません。
統計的学習理論の方法では、二重降下や相互作用の性質に対するリスクの依存などの創発現象は説明できません。
統計物理学とランダム行列理論の分析ツールを使用して、文脈的確率ブロック モデル上の単純なグラフ畳み込みネットワークにおける一般化を正確に特徴付けます。
導出された曲線は現象学的に豊富です。これらは同性愛性と異性性に関する学習の区別を説明し、GNN における存在が最近の研究で疑問視されている二重降下を予測します。
リスクがグラフ内のノイズ、特徴内のノイズ、トレーニングに使用されるノードの割合の間の相互作用にどのように依存するかを示します。
私たちの分析は、定型化されたグラフ学習モデルだけでなく、乱雑な現実世界のデータセット上の複雑な GNN の定性的な動作も予測します。
好例として、ヘテロフィリックと自己ループの兆候に関するこれらの分析的洞察を使用して、ネガティブな自己ループ フィルターを単純に追加することで、いくつかのヘテロフィリック ベンチマークで最先端のグラフ畳み込みネットワークのパフォーマンスを向上させます。

要約(オリジナル)

Graph neural networks are among the most successful machine learning models for relational datasets like metabolic, transportation, and social networks. Yet the determinants of their strong generalization for diverse interactions encoded in the data are not well understood. Methods from statistical learning theory do not explain emergent phenomena such as double descent or the dependence of risk on the nature of interactions. We use analytical tools from statistical physics and random matrix theory to precisely characterize generalization in simple graph convolution networks on the contextual stochastic block model. The derived curves are phenomenologically rich: they explain the distinction between learning on homophilic and heterophilic and they predict double descent whose existence in GNNs has been questioned by recent work. We show how risk depends on the interplay between the noise in the graph, noise in the features, and the proportion of nodes used for training. Our analysis predicts qualitative behavior not only of a stylized graph learning model but also to complex GNNs on messy real-world datasets. As a case in point, we use these analytic insights about heterophily and self-loop signs to improve performance of state-of-the-art graph convolution networks on several heterophilic benchmarks by a simple addition of negative self-loop filters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google