An Approximation Theory for Metric Space-Valued Functions With A View Towards Deep Learning

要約

深層学習の発展する数学に動機付けられ、ユークリッド空間間の初等関数を構成要素として使用して、任意のポーランド計量空間 $\mathcal{X}$ と $\mathcal{Y}$ の間の連続マップの普遍関数近似器を構築します。
前の結果では、ターゲット空間 $\mathcal{Y}$ が位相ベクトル空間であると仮定しています。
私たちは「ランダム化」によってこの制限を克服します。近似器は $\mathcal{Y}$ にわたる離散確率測定を出力します。
$\mathcal{X}$ と $\mathcal{Y}$ が追加の構造なしでポーランド語である場合、非常に一般的な定性的保証が証明されます。
それらが適切な組み合わせ構造を持っている場合、有限グラフ間の写像、特定のカルノー群間の粗微分方程式の解演算子、逆問題で生じるバナ​​ッハ空間間の連続非線形演算子など、ヘルダー様写像の定量的保証を証明します。
特に、必要なディラック測度の数は $\mathcal{X}$ と $\mathcal{Y}$ の組み合わせ構造によって決定されることを示します。
バナッハ空間、$\mathbb{R}$ 木、アダマール多様体、またはポーランド計量空間上のワッサーシュタイン空間を含む重心 $\mathcal{Y}$ の場合、近似器は $\mathcal{Y}$ 値の関数に還元されます。
ユークリッド近似器がニューラル ネットワークである場合、私たちの構築は変換ネットワークを一般化し、幾何学的な深層学習の新しい確率論的な観点を提供します。

要約(オリジナル)

Motivated by the developing mathematics of deep learning, we build universal functions approximators of continuous maps between arbitrary Polish metric spaces $\mathcal{X}$ and $\mathcal{Y}$ using elementary functions between Euclidean spaces as building blocks. Earlier results assume that the target space $\mathcal{Y}$ is a topological vector space. We overcome this limitation by “randomization”: our approximators output discrete probability measures over $\mathcal{Y}$. When $\mathcal{X}$ and $\mathcal{Y}$ are Polish without additional structure, we prove very general qualitative guarantees; when they have suitable combinatorial structure, we prove quantitative guarantees for H\'{o}lder-like maps, including maps between finite graphs, solution operators to rough differential equations between certain Carnot groups, and continuous non-linear operators between Banach spaces arising in inverse problems. In particular, we show that the required number of Dirac measures is determined by the combinatorial structure of $\mathcal{X}$ and $\mathcal{Y}$. For barycentric $\mathcal{Y}$, including Banach spaces, $\mathbb{R}$-trees, Hadamard manifolds, or Wasserstein spaces on Polish metric spaces, our approximators reduce to $\mathcal{Y}$-valued functions. When the Euclidean approximators are neural networks, our constructions generalize transformer networks, providing a new probabilistic viewpoint of geometric deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google