Infinite Width Graph Neural Networks for Node Regression/ Classification

要約

この研究では、グラフ構造化データ上の完全接続ディープ ニューラル ネットワークを一般化したグラフ ニューラル ネットワークを、その幅 (完全接続された各層のノード数) が無限大に増加した場合に分析します。
無限幅ニューラル ネットワークは、ディープ ラーニングを、長い伝統と広範な理論的基盤を持つ機械学習フレームワークであるガウス プロセスおよびカーネルに接続します。
ガウス プロセスとカーネルは、ニューラル ネットワークよりもハイパーパラメータがはるかに少なく、不確実性の推定に使用できるため、アプリケーションにとってより使いやすいものになります。
この取り組みにより、ガウス プロセスとカーネルをニューラル ネットワークに接続する研究の量が増加しています。
カーネルお​​よびガウス プロセスの閉じた形式は、標準のグラフ ニューラル ネットワーク、スキップ連結接続を備えたグラフ ニューラル ネットワーク、およびグラフ アテンション ニューラル ネットワークなど、さまざまなアーキテクチャに対して派生します。
すべてのアーキテクチャは、トランスダクティブなノード回帰と分類のタスクに関するさまざまなデータセットで評価されます。
さらに、実行時間とメモリ要件を改善するために、実効抵抗として知られるスペクトル分散法が使用されています。
この設定を帰納的グラフ学習タスク (グラフ回帰/分類) に拡張するのは簡単で、3.5 で簡単に説明します。

要約(オリジナル)

This work analyzes Graph Neural Networks, a generalization of Fully-Connected Deep Neural Nets on Graph structured data, when their width, that is the number of nodes in each fullyconnected layer is increasing to infinity. Infinite Width Neural Networks are connecting Deep Learning to Gaussian Processes and Kernels, both Machine Learning Frameworks with long traditions and extensive theoretical foundations. Gaussian Processes and Kernels have much less hyperparameters then Neural Networks and can be used for uncertainty estimation, making them more user friendly for applications. This works extends the increasing amount of research connecting Gaussian Processes and Kernels to Neural Networks. The Kernel and Gaussian Process closed forms are derived for a variety of architectures, namely the standard Graph Neural Network, the Graph Neural Network with Skip-Concatenate Connections and the Graph Attention Neural Network. All architectures are evaluated on a variety of datasets on the task of transductive Node Regression and Classification. Additionally, a Spectral Sparsification method known as Effective Resistance is used to improve runtime and memory requirements. Extending the setting to inductive graph learning tasks (Graph Regression/ Classification) is straightforward and is briefly discussed in 3.5.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google