Tempered Calculus for ML: Application to Hyperbolic Model Embedding

要約

ML で使用されるほとんどの数学的歪みは、基本的に本質的に積分です。$f$ 発散、ブレグマン発散、(正規化された) 最適輸送距離、積分確率計量、測地線距離などです。この論文では、根拠のある理論とツールを明らかにします。
これらの歪みを改善して、ML 要件に適切に対処できるようにします。
リーマン積分の一般化から始めます。リーマン積分は、厳密には加法的ではないが、より一般的には非拡張統計力学のように $t$-加法的である関数もカプセル化します。
特に、これは特別な場合として Volterra の積分を回復します。
次に、(ユークリッド) 導関数の拡張を使用して微積分の基本定理を一般化します。
これは、より具体的な一連の定理とともに、幾何学的および ML 関連の特性に特に重点を置き、歪み測定の基本的な特性を簡単な方法で具体的に設計、変更、または変更する方法を示す結果の基礎として機能します。
それは、計量​​性、双曲線性、およびエンコーディングです。
最近 ML で注目を集めている問題、つまり双曲線対ユークリッド スケールに沿った「安価な」正確なエンコードによる双曲線埋め込みにそれを適用する方法を示します。
私たちは、ポアンカレ円盤モデルが非常に魅力的な機能を備えた新しいアプリケーションを発表します。そして、私たちの理論が役に立ちます。対数損失 (木) とロジスティックを使用して訓練された、決定木のブーストされた組み合わせのための \textit{model} 埋め込み
損失（組み合わせ）。

要約(オリジナル)

Most mathematical distortions used in ML are fundamentally integral in nature: $f$-divergences, Bregman divergences, (regularized) optimal transport distances, integral probability metrics, geodesic distances, etc. In this paper, we unveil a grounded theory and tools which can help improve these distortions to better cope with ML requirements. We start with a generalization of Riemann integration that also encapsulates functions that are not strictly additive but are, more generally, $t$-additive, as in nonextensive statistical mechanics. Notably, this recovers Volterra’s product integral as a special case. We then generalize the Fundamental Theorem of calculus using an extension of the (Euclidean) derivative. This, along with a series of more specific Theorems, serves as a basis for results showing how one can specifically design, alter, or change fundamental properties of distortion measures in a simple way, with a special emphasis on geometric- and ML-related properties that are the metricity, hyperbolicity, and encoding. We show how to apply it to a problem that has recently gained traction in ML: hyperbolic embeddings with a ‘cheap’ and accurate encoding along the hyperbolic vs Euclidean scale. We unveil a new application for which the Poincar\’e disk model has very appealing features, and our theory comes in handy: \textit{model} embeddings for boosted combinations of decision trees, trained using the log-loss (trees) and logistic loss (combinations).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google