Neural Latent Geometry Search: Product Manifold Inference via Gromov-Hausdorff-Informed Bayesian Optimization

要約

最近の研究では、潜在空間のジオメトリを基礎となるデータ構造と一致させることで、機械学習モデルのパフォーマンスを向上できることが示されています。
研究者らは、ユークリッド空間のみに依存するのではなく、曲率が一定の双曲空間や球面空間、あるいはそれらの組み合わせを使用して、潜在空間をより適切にモデル化し、モデルのパフォーマンスを向上させることを提案しています。
しかし、下流のタスクに最適な潜在ジオメトリを自動的に識別するという問題には、ほとんど注意が払われてきませんでした。
私たちはこの新しい定式化を数学的に定義し、ニューラル潜在幾何探索 (NLGS) と名付けました。
より具体的には、最小限のクエリ評価で一定の曲率モデル空間の積から構成される潜在ジオメトリを検索する原理的な方法を導入します。
これを達成するために、我々は、計量幾何学からのグロモフ・ハウスドルフ距離に基づいて、候補潜在幾何学間の距離の新しい概念を提案する。
グロモフ・ハウスドルフ距離を計算するために、共通の高次元周囲空間にさまざまな多様体を埋め込むことでそれらの比較を可能にするマッピング関数を導入します。
最後に、候補多様体間の計算された距離に基づいてグラフ検索空間を設計し、ベイジアン最適化を使用してクエリ効率の高い方法で最適な潜在幾何形状を検索します。
これは、さまざまなモデルや下流のタスクに最適な潜在ジオメトリを検索するために適用できる一般的な方法です。
合成データセットと現実世界のデータセットに関する広範な実験により、複数の機械学習問題に対する最適な潜在ジオメトリを特定する際の私たちの方法の有効性が確認されています。

要約(オリジナル)

Recent research indicates that the performance of machine learning models can be improved by aligning the geometry of the latent space with the underlying data structure. Rather than relying solely on Euclidean space, researchers have proposed using hyperbolic and spherical spaces with constant curvature, or combinations thereof, to better model the latent space and enhance model performance. However, little attention has been given to the problem of automatically identifying the optimal latent geometry for the downstream task. We mathematically define this novel formulation and coin it as neural latent geometry search (NLGS). More specifically, we introduce a principled method that searches for a latent geometry composed of a product of constant curvature model spaces with minimal query evaluations. To accomplish this, we propose a novel notion of distance between candidate latent geometries based on the Gromov-Hausdorff distance from metric geometry. In order to compute the Gromov-Hausdorff distance, we introduce a mapping function that enables the comparison of different manifolds by embedding them in a common high-dimensional ambient space. Finally, we design a graph search space based on the calculated distances between candidate manifolds and use Bayesian optimization to search for the optimal latent geometry in a query-efficient manner. This is a general method which can be applied to search for the optimal latent geometry for a variety of models and downstream tasks. Extensive experiments on synthetic and real-world datasets confirm the efficacy of our method in identifying the optimal latent geometry for multiple machine learning problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google