Gradient-Based Spectral Embeddings of Random Dot Product Graphs

要約

Random Dot Product Graph (RDPG) はリレーショナル データの生成モデルであり、ノードは低次元ユークリッド空間の潜在ベクトルを介して表現されます。
RDPG は、エッジ形成確率が対応する潜在位置の内積によって与えられることを決定的に仮定します。
したがって、観察されたグラフからこれらのベクトルを推定する埋め込みタスクは、通常、低ランクの行列因数分解問題として提起されます。
主力の隣接スペクトル埋め込み (ASE) は確かな統計特性を備えていますが、形式的には代理問題を解決しており、計算量が多くなる可能性があります。
この論文では、非凸最適化における最近の進歩を取り上げ、それが RDPG 推論に及ぼす影響を実証します。
私たちは、埋め込み問題をより適切に解決し、実際に関連する広範なネットワーク埋め込みアプリケーションに有機的に対応するために、一次勾配降下法を提唱します。
特に、因子行列が直交列を持つように制約されない限り、有向グラフの RDPG 埋め込みは解釈可能性を失うと主張します。
したがって、結果として得られる多様体における新しい実行可能な最適化方法を開発します。
グラフ表現学習フレームワークの有効性は、合成ネットワーク データと実際のネットワーク データの両方を使用した再現可能な実験で実証されています。
当社のオープンソース アルゴリズム実装はスケーラブルであり、ASE とは異なり、エッジ データの欠落に対して堅牢であり、ストリーミング グラフからゆっくりと変化する潜在位置を追跡できます。

要約(オリジナル)

The Random Dot Product Graph (RDPG) is a generative model for relational data, where nodes are represented via latent vectors in low-dimensional Euclidean space. RDPGs crucially postulate that edge formation probabilities are given by the dot product of the corresponding latent positions. Accordingly, the embedding task of estimating these vectors from an observed graph is typically posed as a low-rank matrix factorization problem. The workhorse Adjacency Spectral Embedding (ASE) enjoys solid statistical properties, but it is formally solving a surrogate problem and can be computationally intensive. In this paper, we bring to bear recent advances in non-convex optimization and demonstrate their impact to RDPG inference. We advocate first-order gradient descent methods to better solve the embedding problem, and to organically accommodate broader network embedding applications of practical relevance. Notably, we argue that RDPG embeddings of directed graphs loose interpretability unless the factor matrices are constrained to have orthogonal columns. We thus develop a novel feasible optimization method in the resulting manifold. The effectiveness of the graph representation learning framework is demonstrated on reproducible experiments with both synthetic and real network data. Our open-source algorithm implementations are scalable, and unlike the ASE they are robust to missing edge data and can track slowly-varying latent positions from streaming graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google