Latent Graph Inference using Product Manifolds

要約

グラフ ニューラル ネットワークは通常、グラフ トポロジがネットワークで利用可能であり、下流のタスクにも最適であるという前提に基づいています。
潜在グラフ推論を使用すると、データの接続パターンに直接アクセスできない可能性がある問題の固有のグラフ構造をモデルが動的に学習できます。
この研究では、潜在グラフ学習のための離散微分可能グラフ モジュール (dDGM) を一般化します。
元の dDGM アーキテクチャでは、ユークリッド平面を使用して、潜在グラフの生成に基づいて潜在特徴をエンコードしました。
リーマン幾何学をモデルに組み込み、より複雑な埋め込み空間を生成することで、潜在グラフ推論システムのパフォーマンスを向上させることができます。
特に、我々は、さまざまな構造の潜在的な特徴をコード化できる一定の曲率モデル空間の積多様体を生成するための、計算的に扱いやすいアプローチを提案します。
推論された積多様体にマッピングされた潜在表現は、最適化された潜在グラフを取得するために潜在グラフ学習モデルによって活用される、より豊富な類似性尺度を計算するために使用されます。
さらに、積多様体の曲率は、静的な埋め込み空間ではなく、トレーニング中に残りのネットワーク パラメーターとともに、下流のタスクに基づいて学習されます。
私たちの新しいアプローチは幅広いデータセットでテストされており、元の dDGM モデルを上回るパフォーマンスを示しています。

要約(オリジナル)

Graph Neural Networks usually rely on the assumption that the graph topology is available to the network as well as optimal for the downstream task. Latent graph inference allows models to dynamically learn the intrinsic graph structure of problems where the connectivity patterns of data may not be directly accessible. In this work, we generalize the discrete Differentiable Graph Module (dDGM) for latent graph learning. The original dDGM architecture used the Euclidean plane to encode latent features based on which the latent graphs were generated. By incorporating Riemannian geometry into the model and generating more complex embedding spaces, we can improve the performance of the latent graph inference system. In particular, we propose a computationally tractable approach to produce product manifolds of constant curvature model spaces that can encode latent features of varying structure. The latent representations mapped onto the inferred product manifold are used to compute richer similarity measures that are leveraged by the latent graph learning model to obtain optimized latent graphs. Moreover, the curvature of the product manifold is learned during training alongside the rest of the network parameters and based on the downstream task, rather than it being a static embedding space. Our novel approach is tested on a wide range of datasets, and outperforms the original dDGM model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google