Designing Universal Causal Deep Learning Models: The Geometric (Hyper)Transformer

要約

確率的分析におけるいくつかの問題は、それらの幾何学によって定義されており、その幾何学的構造を維持することは、意味のある予測を生成するために不可欠です。
それにもかかわらず、これらの幾何学的構造をエンコードできる原理に基づいた深層学習 (DL) モデルを設計する方法は、ほとんど知られていません。
ユーザーがメトリック空間 $\mathscr{X}$ と $\mathscr{Y}$ の適切なペアを指定すると、フレームワークは因果的に近似できる DL モデルを返します。
$\mathscr{X}^{\mathbb{Z}}$ の時系列を $\mathscr{Y}^{\mathbb{Z}}$ の時系列に送信する「通常の」マップ
時間を通して情報の。
$\mathscr{Y}$ の適切な幾何学には、最適停止問題で生じるさまざまな (適応された) ワッサースタイン空間、連続時間有限状態マルコフ連鎖の条件付き分布を記述するさまざまな統計多様体、およびすべての Fr\'{e}chet が含まれます。
シャウダー基底を認める空間。
古典的な金融のように。
適切な空間 $\mathscr{X}$ は、任意のユークリッド空間のコンパクトなサブセットです。
私たちの結果はすべて、ターゲット マップの規則性と $\mathscr{X}$ と $\mathscr{Y}$ の両方の幾何学的構造の関数として、DL モデルが特定の近似誤差を達成するために必要なパラメーターの数を定量的に表しています。
.
一時的な構造を省略した場合でも、普遍的な近似定理は、そのような $\mathscr{X}$ と $\mathscr{Y}$ の間で定義された H\'{o}lder 関数を DL モデルで近似できることを最初に保証します。

要約(オリジナル)

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of metric spaces $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any “regular” map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fr\'{e}chet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable spaces $\mathscr{X}$ are compact subsets of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map’s regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that H\'{o}lder functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google