Optimality of Message-Passing Architectures for Sparse Graphs

要約

スパース設定、つまりノードの期待次数がノード数で $O(1)$ である場合の、特徴装飾グラフ上のノード分類問題を研究します。
このようなグラフは通常、局所的にツリー状であることが知られています。
漸近局所ベイズ最適性と呼ばれる、ノード分類タスクにベイズ最適性の概念を導入し、ノードの特徴とエッジ接続性の任意の分布を持つかなり一般的な統計データ モデルに対して、この基準に従って最適な分類器を計算します。
最適な分類子は、メッセージ パッシング グラフ ニューラル ネットワーク アーキテクチャを使用して実装できます。
次に、この分類器の一般化誤差を計算し、データ内で自然に識別可能な信号対雑音比 (SNR) を使用して、よく研究された統計モデルに基づいて理論的に既存の学習方法とそのパフォーマンスを比較します。
最適なメッセージ パッシング アーキテクチャは、低グラフ信号領域の標準 MLP と高グラフ信号領域の典型的な畳み込みの間を補間することがわかりました。
さらに、対応する非漸近的な結果を証明します。

要約(オリジナル)

We study the node classification problem on feature-decorated graphs in the sparse setting, i.e., when the expected degree of a node is $O(1)$ in the number of nodes. Such graphs are typically known to be locally tree-like. We introduce a notion of Bayes optimality for node classification tasks, called asymptotic local Bayes optimality, and compute the optimal classifier according to this criterion for a fairly general statistical data model with arbitrary distributions of the node features and edge connectivity. The optimal classifier is implementable using a message-passing graph neural network architecture. We then compute the generalization error of this classifier and compare its performance against existing learning methods theoretically on a well-studied statistical model with naturally identifiable signal-to-noise ratios (SNRs) in the data. We find that the optimal message-passing architecture interpolates between a standard MLP in the regime of low graph signal and a typical convolution in the regime of high graph signal. Furthermore, we prove a corresponding non-asymptotic result.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google