Generating Post-hoc Explanations for Skip-gram-based Node Embeddings by Identifying Important Nodes with Bridgeness

要約

ネットワークにおけるノード表現学習は、ネットワーク固有の特性と構造を維持しながら、連続ベクトル空間でリレーショナル情報をエンコードするための重要な機械学習手法です。
最近、DeepWalk、LINE、struc2vec、PTE、UserItem2vec、RWJBG などの教師なしノード埋め込みメソッドが Skip-gram モデルから登場し、ノード分類やリンク予測などのいくつかの下流タスクで既存のリレーショナル モデルよりも優れたパフォーマンスを実行します。
しかし、スキップグラムベースの埋め込みの事後的な説明を提供することは、埋め込みに適用できる説明方法や理論的研究が不足しているため、依然として困難な問題が残っています。
この論文では、まず、スキップグラムベースの埋め込みに対する大域的な説明が、スペクトルクラスターを意識した局所摂動の下でブリッジネスを計算することによって見つけられることを示します。
さらに、GRAPH-wGDと呼ばれる新しい勾配ベースの説明方法が提案されており、学習されたグラフ埋め込みベクトルについてのtop-qのグローバル説明をより効率的に行うことができます。
実験では、GRAPH-wGD を使用したスコアによるノードのランキングが真のブリッジネス スコアと高い相関があることを示しています。
また、GRAPH-wGD によって選択された上位 q のノードレベルの説明は、5 つの現実世界のグラフを使用した最近の代替案によって選択されたノードと比較して、重要度スコアが高く、摂動時にクラス ラベル予測に多くの変化をもたらすことも観察されています。

要約(オリジナル)

Node representation learning in a network is an important machine learning technique for encoding relational information in a continuous vector space while preserving the inherent properties and structures of the network. Recently, unsupervised node embedding methods such as DeepWalk, LINE, struc2vec, PTE, UserItem2vec, and RWJBG have emerged from the Skip-gram model and perform better performance in several downstream tasks such as node classification and link prediction than the existing relational models. However, providing post-hoc explanations of Skip-gram-based embeddings remains a challenging problem because of the lack of explanation methods and theoretical studies applicable for embeddings. In this paper, we first show that global explanations to the Skip-gram-based embeddings can be found by computing bridgeness under a spectral cluster-aware local perturbation. Moreover, a novel gradient-based explanation method, which we call GRAPH-wGD, is proposed that allows the top-q global explanations about learned graph embedding vectors more efficiently. Experiments show that the ranking of nodes by scores using GRAPH-wGD is highly correlated with true bridgeness scores. We also observe that the top-q node-level explanations selected by GRAPH-wGD have higher importance scores and produce more changes in class label prediction when perturbed, compared with the nodes selected by recent alternatives, using five real-world graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google