Random Laplacian Features for Learning with Hyperbolic Space

要約

双曲空間は、その幾何学的特性により、さまざまな双曲線ネットワークが開発されているツリー構造およびグラフ構造のデータの忠実度の高い埋め込みをサポートできます。
既存の双曲線ネットワークは、入力だけでなく、ネットワークのすべての層でも幾何学的事前確率をエンコードします。
このアプローチでは、双曲線空間との間で繰り返しマッピングが行われるため、これらのネットワークの実装が複雑になり、スケーリングの計算コストが高くなり、トレーニングが数値的に不安定になります。
このペーパーでは、より単純なアプローチを提案します。入力の双曲線埋め込みを学習し、双曲線空間のアイソメトリーを尊重して幾何学的事前分布をエンコードするマッピングを使用して、入力からユークリッド空間に一度マッピングし、標準のユークリッド ネットワークで終了します。
重要な洞察は、ラプラス演算子の固有関数を介してランダムな特徴マッピングを使用することです。これにより、双曲線空間上の等長不変カーネルを近似できることが示されます。
私たちの方法は、任意のグラフニューラルネットワークと一緒に使用できます.線形グラフモデルを使用しても、変換タスクと誘導タスクの両方で、他の双曲線ベースラインよりも効率とパフォーマンスの両方が大幅に向上します。

要約(オリジナル)

Due to its geometric properties, hyperbolic space can support high-fidelity embeddings of tree- and graph-structured data, upon which various hyperbolic networks have been developed. Existing hyperbolic networks encode geometric priors not only for the input, but also at every layer of the network. This approach involves repeatedly mapping to and from hyperbolic space, which makes these networks complicated to implement, computationally expensive to scale, and numerically unstable to train. In this paper, we propose a simpler approach: learn a hyperbolic embedding of the input, then map once from it to Euclidean space using a mapping that encodes geometric priors by respecting the isometries of hyperbolic space, and finish with a standard Euclidean network. The key insight is to use a random feature mapping via the eigenfunctions of the Laplace operator, which we show can approximate any isometry-invariant kernel on hyperbolic space. Our method can be used together with any graph neural networks: using even a linear graph model yields significant improvements in both efficiency and performance over other hyperbolic baselines in both transductive and inductive tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google