Generating Post-hoc Explanations for Skip-gram-based Node Embeddings by Identifying Important Nodes with Bridgeness

要約

タイトル：
Skip-gramベースのノード埋め込みの事後解釈を、ブリッジネスで重要なノードを特定することで生成する

要約：
– ネットワークを対象としたノード表現学習は、ネットワークの固有の性質や構造を保存しながら、関連情報を連続的なベクトル空間にエンコードするための重要な機械学習技術である。
– 近年、DeepWalk、LINE、struc2vec、PTE、UserItem2vec、RWJBGなどの教師なしノード埋め込み法がSkip-gramモデルから登場し、既存の関連モデルよりもノード分類やリンク予測などのDownstreamタスクでより良いパフォーマンスを発揮している。
– しかし、Skip-gramベースの埋め込みを事後解釈する方法や理論研究が不十分であるため、解釈が困難な状況にある。
– 本論文では、スペクトルクラスタアウェアローカルパーセーション下でブリッジネスを計算することにより、Skip-gramベースの埋め込みのグローバルな解釈が見つかることを示す。
– また、新しい勾配ベースの解釈方法であるGRAPH-wGDを提案し、学習済みグラフ埋め込みベクトルに関する上位q個のグローバルな解釈をより効率的に行うことができる。
– 実験では、GRAPH-wGDによるスコア順位付けは、真のブリッジネススコアと高い相関があることがわかった。
– さらに、5つの実世界グラフを使用して、最近提案された代替案で選択されたノードと比較して、GRAPH-wGDによって選択された上位q個のノードレベルの解釈がより重要度が高く、クラスラベル予測に対してより多くの変化を引き起こすことが観察された。

要約(オリジナル)

Node representation learning in a network is an important machine learning technique for encoding relational information in a continuous vector space while preserving the inherent properties and structures of the network. Recently, unsupervised node embedding methods such as DeepWalk, LINE, struc2vec, PTE, UserItem2vec, and RWJBG have emerged from the Skip-gram model and perform better performance in several downstream tasks such as node classification and link prediction than the existing relational models. However, providing post-hoc explanations of Skip-gram-based embeddings remains a challenging problem because of the lack of explanation methods and theoretical studies applicable for embeddings. In this paper, we first show that global explanations to the Skip-gram-based embeddings can be found by computing bridgeness under a spectral cluster-aware local perturbation. Moreover, a novel gradient-based explanation method, which we call GRAPH-wGD, is proposed that allows the top-q global explanations about learned graph embedding vectors more efficiently. Experiments show that the ranking of nodes by scores using GRAPH-wGD is highly correlated with true bridgeness scores. We also observe that the top-q node-level explanations selected by GRAPH-wGD have higher importance scores and produce more changes in class label prediction when perturbed, compared with the nodes selected by recent alternatives, using five real-world graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI