L2G2G: a Scalable Local-to-Global Network Embedding with Graph Autoencoders

要約

実世界のネットワークを分析するために、グラフ表現学習はよく使われるツールである。グラフ自動エンコーダ（GAE）のようなこれらの手法は、通常、損失関数を最小化することで得られる埋め込みとも呼ばれる低次元表現に依存する。GAEはかなり正確である傾向があるが、スケーラビリティの問題に悩まされる。高速化のために、固有ベクトルの同期に基づくグラフパッチ埋め込みを組み合わせたLocal2Globalアプローチが、高速で良い精度を達成することが示された。ここでは、スケーラビリティを犠牲にすることなくGAE精度を向上させるLocal2Global手法であるL2G2Gを提案する。この改善は、GAEを訓練する間に潜在ノード表現を動的に同期させることで達成される。また、デコーダが局所的なパッチ損失のみを計算する利点もある。従って、スケーラビリティを維持しながら、各エポックで局所埋め込みを整列させることで、1回の学習後の整列よりもグラフからの情報をより多く利用することができる。我々は、L2G2Gが標準的なLocal2Globalアプローチよりも高い精度を達成し、より大きなデータセットで効率的にスケールすることを、合成ベンチマークと実世界の例で説明する。大規模で高密度のネットワークでは、L2G2Gは、低速ではあるが、より高精度であると想定されるGAEを凌駕することさえ見いだした。

要約(オリジナル)

For analysing real-world networks, graph representation learning is a popular tool. These methods, such as a graph autoencoder (GAE), typically rely on low-dimensional representations, also called embeddings, which are obtained through minimising a loss function; these embeddings are used with a decoder for downstream tasks such as node classification and edge prediction. While GAEs tend to be fairly accurate, they suffer from scalability issues. For improved speed, a Local2Global approach, which combines graph patch embeddings based on eigenvector synchronisation, was shown to be fast and achieve good accuracy. Here we propose L2G2G, a Local2Global method which improves GAE accuracy without sacrificing scalability. This improvement is achieved by dynamically synchronising the latent node representations, while training the GAEs. It also benefits from the decoder computing an only local patch loss. Hence, aligning the local embeddings in each epoch utilises more information from the graph than a single post-training alignment does, while maintaining scalability. We illustrate on synthetic benchmarks, as well as real-world examples, that L2G2G achieves higher accuracy than the standard Local2Global approach and scales efficiently on the larger data sets. We find that for large and dense networks, it even outperforms the slow, but assumed more accurate, GAEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL