LASE: Learned Adjacency Spectral Embeddings

要約

私たちは、グラフ入力からノード隣接スペクトル埋め込み (ASE) を学習するためのニューラル アーキテクチャの原則的な設計を提案しました。
勾配降下法 (GD) 法を導入し、アルゴリズム展開の原理を活用することで、各 GD 反復を切り捨て、ASE を近似するようにトレーニングされたグラフ ニューラル ネットワーク (GNN) の層として再解釈します。
したがって、結果の埋め込みとパラメトリック モデルを学習済み ASE (LASE) と呼びます。これは、解釈可能で、パラメーター効率が高く、観測されていないエッジを持つ入力に対して堅牢で、推論中に制御可能な複雑さを提供します。
LASE レイヤーは、グラフ畳み込みネットワーク (GCN) と完全接続グラフ アテンション ネットワーク (GAT) モジュールを組み合わせています。これは、GCN ベースのローカル集約だけでは、求められるグラフ固有ベクトルを表現するには不十分であるため、直感的に快適です。
我々は、アンロールド LASE アーキテクチャに対して、好ましい近似誤差と計算のトレードオフを提供するいくつかの改良点 (GAT モジュールのスパース アテンションや層ごとのパラメーターの分離など) を提案します。
科学計算ライブラリからの高度に最適化された固有分解ルーチンよりも優れたパフォーマンスを発揮します。
LASE はそのパラメータおよびグラフ入力に関して微分可能な関数であるため、より大規模な (半) 教師ありグラフ表現学習パイプライン内のトレーニング可能なモジュールとして LASE をシームレスに統合できます。
結果として得られるエンドツーエンド システムは、教師ありリンク予測タスクとノード分類タスクで競争力のあるパフォーマンスを示す「識別 ASE」を効果的に学習し、GNN に開ループが備わっている場合でも、GNN を上回るパフォーマンスを発揮します。これは、タスクに依存せず、事前に計算されたスペクトル位置を意味します。
エンコーディング。

要約(オリジナル)

We put forth a principled design of a neural architecture to learn nodal Adjacency Spectral Embeddings (ASE) from graph inputs. By bringing to bear the gradient descent (GD) method and leveraging the principle of algorithm unrolling, we truncate and re-interpret each GD iteration as a layer in a graph neural network (GNN) that is trained to approximate the ASE. Accordingly, we call the resulting embeddings and our parametric model Learned ASE (LASE), which is interpretable, parameter efficient, robust to inputs with unobserved edges, and offers controllable complexity during inference. LASE layers combine Graph Convolutional Network (GCN) and fully-connected Graph Attention Network (GAT) modules, which is intuitively pleasing since GCN-based local aggregations alone are insufficient to express the sought graph eigenvectors. We propose several refinements to the unrolled LASE architecture (such as sparse attention in the GAT module and decoupled layerwise parameters) that offer favorable approximation error versus computation tradeoffs; even outperforming heavily-optimized eigendecomposition routines from scientific computing libraries. Because LASE is a differentiable function with respect to its parameters as well as its graph input, we can seamlessly integrate it as a trainable module within a larger (semi-)supervised graph representation learning pipeline. The resulting end-to-end system effectively learns “discriminative ASEs” that exhibit competitive performance in supervised link prediction and node classification tasks, outperforming a GNN even when the latter is endowed with open loop, meaning task-agnostic, precomputed spectral positional encodings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google