Learning Graph Node Embeddings by Smooth Pair Sampling

要約

ランダム ウォーク ベースのノード埋め込みアルゴリズムは、そのスケーラビリティと実装の容易さにより、多くの注目を集めています。
これまでの研究は、さまざまなウォーク戦略、最適化目標、および学習モデルの埋め込みに焦点を当ててきました。
実際のデータの観察からインスピレーションを得て、私たちは異なるアプローチを採用し、新しい正則化手法を提案します。
より正確には、ランダム ウォーク ノード シーケンスのスキップグラム モデルによって生成されたノード ペアの頻度は、ペアの一部によって学習が支配される原因となる非常に歪んだ分布に従います。
私たちは、{\em 平滑化周波数} に従ってノードペアを生成する効率的なサンプリング手順を設計することで、この問題に対処します。
理論的および実験的結果は、私たちのアプローチの利点を示しています。

要約(オリジナル)

Random walk-based node embedding algorithms have attracted a lot of attention due to their scalability and ease of implementation. Previous research has focused on different walk strategies, optimization objectives, and embedding learning models. Inspired by observations on real data, we take a different approach and propose a new regularization technique. More precisely, the frequencies of node pairs generated by the skip-gram model on random walk node sequences follow a highly skewed distribution which causes learning to be dominated by a fraction of the pairs. We address the issue by designing an efficient sampling procedure that generates node pairs according to their {\em smoothed frequency}. Theoretical and experimental results demonstrate the advantages of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google