Flexible infinite-width graph convolutional networks and the importance of representation learning

要約

ニューラル ネットワークを理解するための一般的な理論的アプローチは、無限幅の制限を取ることであり、その時点で出力はガウス過程 (GP) 分散になります。
これはニューラル ネットワーク ガウス プロセス (NNGP) として知られています。
ただし、NNGP カーネルは固定されており、少数のハイパーパラメータを通じてのみ調整できるため、表現学習の可能性が排除されます。
これは、表現を学習できるため正確にパフォーマンスが優れていると考えられている有限幅 NN とは対照的です。
したがって、NNGP は、理論的に扱いやすいように NN を単純化する際に、NNGP をうまく機能させるもの (表現学習) を正確に排除する可能性があります。
これは、さまざまなグラフ分類タスクにおいて表現学習が必要かどうかを理解する動機となりました。
私たちは、このタスクのための正確なツール、グラフ畳み込みディープ カーネル マシンを開発します。
これは、無限の幅制限であり、カーネルを使用するという点で NNGP に非常に似ていますが、表現学習の量を制御するための「ノブ」が付属しています。
グラフ分類タスクと異親和性ノード分類タスクでは表現学習が必要ですが（劇的なパフォーマンス向上をもたらすという意味で）、同親和性ノード分類タスクでは必要ではないことがわかりました。

要約(オリジナル)

A common theoretical approach to understanding neural networks is to take an infinite-width limit, at which point the outputs become Gaussian process (GP) distributed. This is known as a neural network Gaussian process (NNGP). However, the NNGP kernel is fixed, and tunable only through a small number of hyperparameters, eliminating any possibility of representation learning. This contrasts with finite-width NNs, which are often believed to perform well precisely because they are able to learn representations. Thus in simplifying NNs to make them theoretically tractable, NNGPs may eliminate precisely what makes them work well (representation learning). This motivated us to understand whether representation learning is necessary in a range of graph classification tasks. We develop a precise tool for this task, the graph convolutional deep kernel machine. This is very similar to an NNGP, in that it is an infinite width limit and uses kernels, but comes with a `knob’ to control the amount of representation learning. We found that representation learning is necessary (in the sense that it gives dramatic performance improvements) in graph classification tasks and heterophilous node classification tasks, but not in homophilous node classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google