Fisher Information Embedding for Node and Graph Learning

要約

グラフアテンションネットワーク（GAT）などのアテンションベースのグラフニューラルネットワーク（GNN）は、グラフ構造データの処理とノード埋め込み学習のための人気のある神経アーキテクチャになっている。経験的な成功にもかかわらず、これらのモデルはラベル付きデータに依存しており、その理論的特性はまだ完全に理解されていない。本研究では、グラフのための新しい注意に基づくノード埋め込みフレームワークを提案する。本フレームワークは、ノード周辺のサブグラフの多重集合（例えば近隣）に対する階層的なカーネルを構築し、各カーネルは、多重集合を多様体に「投影」することによって、多重集合のペアを比較するために滑らかな統計多様体の幾何学的形状を活用する。ガウス混合多様体によるノード埋め込みを明示的に計算することで、本手法は近傍集計のための新しい注目メカニズムにつながる。また、本埋め込みの汎用性と表現力に関する理論的洞察を提供し、注意に基づくGNNのより深い理解に寄与する。埋め込みを学習するための効率的な教師なし手法と教師あり手法を提案し、教師なし手法ではラベル付きデータを必要としない。いくつかのノード分類ベンチマークでの実験を通じて、我々の提案する方法がGATのような既存の注意ベースのグラフモデルを凌駕することを実証する。コードは https://github.com/BorgwardtLab/fisher_information_embedding で公開されている。

要約(オリジナル)

Attention-based graph neural networks (GNNs), such as graph attention networks (GATs), have become popular neural architectures for processing graph-structured data and learning node embeddings. Despite their empirical success, these models rely on labeled data and the theoretical properties of these models have yet to be fully understood. In this work, we propose a novel attention-based node embedding framework for graphs. Our framework builds upon a hierarchical kernel for multisets of subgraphs around nodes (e.g. neighborhoods) and each kernel leverages the geometry of a smooth statistical manifold to compare pairs of multisets, by ‘projecting’ the multisets onto the manifold. By explicitly computing node embeddings with a manifold of Gaussian mixtures, our method leads to a new attention mechanism for neighborhood aggregation. We provide theoretical insights into genralizability and expressivity of our embeddings, contributing to a deeper understanding of attention-based GNNs. We propose efficient unsupervised and supervised methods for learning the embeddings, with the unsupervised method not requiring any labeled data. Through experiments on several node classification benchmarks, we demonstrate that our proposed method outperforms existing attention-based graph models like GATs. Our code is available at https://github.com/BorgwardtLab/fisher_information_embedding.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL