Improving Heterogeneous Graph Learning with Weighted Mixed-Curvature Product Manifold

要約

グラフ表現の学習では、入力グラフの複雑な幾何学的構造が重要です。
ノード間の隠された関係は、埋め込み空間でよく捕捉されます。
ただし、標準のユークリッド埋め込み空間では、さまざまな構造のグラフを表現できる能力が限られています。
さまざまな構造を持つデータを忠実に埋め込むための有望な候補は、さまざまな幾何学形状 (球面、双曲面、またはユークリッド) の成分空間の積多様体です。
この論文では、空間を埋め込む製品マニホールドの構造を詳しく見て、製品内の各コンポーネント空間が入力グラフ内の構造の表現に異なる寄与をするため、それに応じて重み付けする必要があると主張します。
これは、異なるコンポーネントの役割を同等に考慮したこれまでの作品とは異なります。
次に、重み付き積多様体への異種グラフの埋め込みを学習するためのデータ駆動型手法である WEIGHTED-PM を提案します。
私たちの方法では、入力グラフの位相情報を利用して、製品空間内の各コンポーネントの重みを自動的に決定します。
合成グラフ データセットと実世界のグラフ データセットに関する広範な実験により、WEIGHTED-PM が入力データから幾何学的歪みが少なく、より優れたグラフ表現を学習でき、単語類似性学習、上位 $k$ の推奨など、複数の下流タスクでより優れたパフォーマンスを発揮できることが実証されました。
、ナレッジグラフの埋め込み。

要約(オリジナル)

In graph representation learning, it is important that the complex geometric structure of the input graph, e.g. hidden relations among nodes, is well captured in embedding space. However, standard Euclidean embedding spaces have a limited capacity in representing graphs of varying structures. A promising candidate for the faithful embedding of data with varying structure is product manifolds of component spaces of different geometries (spherical, hyperbolic, or euclidean). In this paper, we take a closer look at the structure of product manifold embedding spaces and argue that each component space in a product contributes differently to expressing structures in the input graph, hence should be weighted accordingly. This is different from previous works which consider the roles of different components equally. We then propose WEIGHTED-PM, a data-driven method for learning embedding of heterogeneous graphs in weighted product manifolds. Our method utilizes the topological information of the input graph to automatically determine the weight of each component in product spaces. Extensive experiments on synthetic and real-world graph datasets demonstrate that WEIGHTED-PM is capable of learning better graph representations with lower geometric distortion from input data, and performs better on multiple downstream tasks, such as word similarity learning, top-$k$ recommendation, and knowledge graph embedding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google