AMES: A Differentiable Embedding Space Selection Framework for Latent Graph Inference

要約

現実世界のシナリオでは、データ エンティティが固有の関係を持っている場合でも、それらの接続を示す特定のグラフに直接アクセスできない場合があります。
潜在グラフ推論は、グラフ ニューラル ネットワーク (GNN) が点群データ上で動作し、必要なグラフ構造を動的に学習できるようにすることで、この問題に対処します。
これらのグラフは多くの場合、ユークリッド空間、双曲空間、球面空間、または積空間を使用してモデル化できる潜在埋め込み空間から派生します。
しかし、現時点では、最適な埋め込み空間を決定するための原理的な微分可能な方法はありません。
この研究では、下流のタスクを考慮して、バックプロパゲーションによる潜在グラフ推論のための最適な埋め込み空間を選択するための微分可能な方法である、注意的マルチ埋め込み選択 (AMES) フレームワークを紹介します。
私たちのフレームワークは、5 つのベンチマーク データセットにわたる潜在グラフ推論の以前の方法と比較して、同等または優れた結果を一貫して達成します。
重要なのは、私たちのアプローチでは、最適な埋め込み空間を特定するために複数の実験を行う必要がなくなりました。
さらに、さまざまな潜在グラフの勾配の寄与を追跡する解釈可能性の手法を探索し、注意に基づく完全微分可能なアプローチが適切な潜在空間の選択をどのように学習するかを明らかにします。
以前の研究と同様に、私たちの実験では、パフォーマンスの向上における双曲空間の利点を強調しています。
さらに重要なのは、私たちの解釈可能性フレームワークは、貢献に基づいてさまざまなタスク間で埋め込み空間を定量的に比較するための一般的なアプローチを提供します。これは、潜在グラフ推論に関するこれまでの文献では見落とされてきた側面です。

要約(オリジナル)

In real-world scenarios, although data entities may possess inherent relationships, the specific graph illustrating their connections might not be directly accessible. Latent graph inference addresses this issue by enabling Graph Neural Networks (GNNs) to operate on point cloud data, dynamically learning the necessary graph structure. These graphs are often derived from a latent embedding space, which can be modeled using Euclidean, hyperbolic, spherical, or product spaces. However, currently, there is no principled differentiable method for determining the optimal embedding space. In this work, we introduce the Attentional Multi-Embedding Selection (AMES) framework, a differentiable method for selecting the best embedding space for latent graph inference through backpropagation, considering a downstream task. Our framework consistently achieves comparable or superior results compared to previous methods for latent graph inference across five benchmark datasets. Importantly, our approach eliminates the need for conducting multiple experiments to identify the optimal embedding space. Furthermore, we explore interpretability techniques that track the gradient contributions of different latent graphs, shedding light on how our attention-based, fully differentiable approach learns to choose the appropriate latent space. In line with previous works, our experiments emphasize the advantages of hyperbolic spaces in enhancing performance. More importantly, our interpretability framework provides a general approach for quantitatively comparing embedding spaces across different tasks based on their contributions, a dimension that has been overlooked in previous literature on latent graph inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google