Mixed-curvature decision trees and random forests

要約

意思決定ツリー（DTS）とそのランダムフォレスト（RF）拡張は、ユークリッド空間での分類と回帰の主力です。
ただし、非ユークリッドスペースで学習するためのアルゴリズムはまだ限られています。
DTおよびRFアルゴリズムを製品マニホールドに拡張します：いくつかの双曲線、hyp球、またはユークリッド成分のデカルト製品。
このようなマニホールドは、不均一な曲率を処理しながら、よりシンプルなコンポーネントにきちんと因数分解しているため、複雑なデータセットに埋め込みスペースを強化します。
DTSの新規の角度再編成は、製品の多様性のジオメトリを尊重し、測地線に凸状、最大マージン、および複合可能な分割を生成します。
単一成分マニホールドの特殊な場合、私たちの方法は、そのユークリッドまたは双曲線の対応物に単純化したり、湾曲に応じて延期DTアルゴリズムを導入したりします。
合成データ、グラフ埋め込み、混合農業変動自動エンコーダー潜在スペース、および経験的データに関するさまざまな分類、回帰、およびリンク予測タスクに関する方法をベンチマークします。
他の7つの分類子と比較して、製品RFは57のベンチマークのうち25で1位にランクされ、57のうち46のうち46のトップ2に配置されます。これは、製品マニホールドのデータ分析のための簡単で強力な新しいツールとして製品RFの価値を強調しています。
私たちの論文のコードは、https：//github.com/pchlenski/manifyで入手できます。

要約(オリジナル)

Decision trees (DTs) and their random forest (RF) extensions are workhorses of classification and regression in Euclidean spaces. However, algorithms for learning in non-Euclidean spaces are still limited. We extend DT and RF algorithms to product manifolds: Cartesian products of several hyperbolic, hyperspherical, or Euclidean components. Such manifolds handle heterogeneous curvature while still factorizing neatly into simpler components, making them compelling embedding spaces for complex datasets. Our novel angular reformulation of DTs respects the geometry of the product manifold, yielding splits that are geodesically convex, maximum-margin, and composable. In the special cases of single-component manifolds, our method simplifies to its Euclidean or hyperbolic counterparts, or introduces hyperspherical DT algorithms, depending on the curvature. We benchmark our method on various classification, regression, and link prediction tasks on synthetic data, graph embeddings, mixed-curvature variational autoencoder latent spaces, and empirical data. Compared to 7 other classifiers, product RFs ranked first on 25 out of 57 benchmarks, and placed in the top 2 for 46 out of 57. This highlights the value of product RFs as straightforward yet powerful new tools for data analysis in product manifolds. Code for our paper is available at https://github.com/pchlenski/manify.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google