RESTORE: Graph Embedding Assessment Through Reconstruction

要約

Word2Vec 埋め込みの成功に続き、グラフ 埋め込み (GE) が大きな注目を集めています。
GE は通常、ダウンストリーム アプリケーションで外部的に生成および評価されますが、トポロジ構造やセマンティック情報に関する元のグラフ プロパティの本質的な評価が不足していました。
これらを理解することは、グラフをベクトル化する際に、関連する知識を保存したり、誤った知識を学習したりするという点で、GE メソッドのさまざまなファミリーの欠陥を特定するのに役立ちます。
これに対処するために、グラフの再構成による固有の GE 評価のフレームワークである RESTORE を提案します。
基礎となる GE から元のグラフを再構成すると、特定のベクトル形式で保存されている情報の相対量についての洞察が得られることを示します。
まず、グラフ再構成タスクを紹介します。
CommonSense Knowledge Graph (CSKG) 上の因数分解法、ランダム ウォーク、および深層学習 (各ファミリーの代表的なアルゴリズムを使用) に基づいて、3 つの GE ファミリから GE を生成します。
我々は、(a) ホップ数の増加によるノードレベルのグラフ再構成のトポロジー構造、および (b) さまざまな単語の意味論および類似性テストに関する意味情報の保存におけるそれらの有効性を分析します。
私たちの評価では、深層学習ベースの GE アルゴリズム (SDNE) が全体的に (a) の保存に優れており、2 ホップ再構成と 3 ホップ再構成の平均平均精度 (mAP) がそれぞれ 0.54 と 0.35 であるのに対し、因数分解ベースのアルゴリズム (HOPE) は、
は、(b) のカプセル化に優れており、1、2、3 ホップ再構成の平均ユークリッド距離はそれぞれ 0.14、0.17、0.11 です。
これらの GE のパフォーマンスは控えめであるため、グラフ表現の学習を改善するためのさらなる研究の余地が残されています。

要約(オリジナル)

Following the success of Word2Vec embeddings, graph embeddings (GEs) have gained substantial traction. GEs are commonly generated and evaluated extrinsically on downstream applications, but intrinsic evaluations of the original graph properties in terms of topological structure and semantic information have been lacking. Understanding these will help identify the deficiency of the various families of GE methods when vectorizing graphs in terms of preserving the relevant knowledge or learning incorrect knowledge. To address this, we propose RESTORE, a framework for intrinsic GEs assessment through graph reconstruction. We show that reconstructing the original graph from the underlying GEs yields insights into the relative amount of information preserved in a given vector form. We first introduce the graph reconstruction task. We generate GEs from three GE families based on factorization methods, random walks, and deep learning (with representative algorithms from each family) on the CommonSense Knowledge Graph (CSKG). We analyze their effectiveness in preserving the (a) topological structure of node-level graph reconstruction with an increasing number of hops and (b) semantic information on various word semantic and analogy tests. Our evaluations show deep learning-based GE algorithm (SDNE) is overall better at preserving (a) with a mean average precision (mAP) of 0.54 and 0.35 for 2 and 3-hop reconstruction respectively, while the factorization-based algorithm (HOPE) is better at encapsulating (b) with an average Euclidean distance of 0.14, 0.17, and 0.11 for 1, 2, and 3-hop reconstruction respectively. The modest performance of these GEs leaves room for further research avenues on better graph representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google