Blessing of Dimensionality for Approximating Sobolev Classes on Manifolds

要約

多様体仮説では、自然な高次元データは実際には低次元多様体上またはその周囲でサポートされていると主張します。
統計および学習ベースの手法の最近の成功は、非常に高い次元で古典的な統計的直観を上回っているため、この仮説を経験的に裏付けています。
したがって、分析の自然な手順は、多様体仮説を仮定し、埋め込み空間から独立した境界を導き出すことです。
この方向の理論的意味合いは、ReLU ネットワークの一般化とランジュバン法の収束という観点から最近研究されています。
一般化特性に直接関係する理論的な統計的複雑さの結果を提供することで、既存の結果を補完します。
特に、コンパクト多様体上の有界ソボレフ関数のクラスを近似するために必要な統計的複雑さは下から限定されること、さらにこの限界は多様体の固有の性質にのみ依存することを実証します。
これらは、多様体上の ReLU ネットワークの既存の近似結果に補完的な境界を提供し、一般化能力の上限を与えます。

要約(オリジナル)

The manifold hypothesis says that natural high-dimensional data is actually supported on or around a low-dimensional manifold. Recent success of statistical and learning-based methods empirically supports this hypothesis, due to outperforming classical statistical intuition in very high dimensions. A natural step for analysis is thus to assume the manifold hypothesis and derive bounds that are independent of any embedding space. Theoretical implications in this direction have recently been explored in terms of generalization of ReLU networks and convergence of Langevin methods. We complement existing results by providing theoretical statistical complexity results, which directly relates to generalization properties. In particular, we demonstrate that the statistical complexity required to approximate a class of bounded Sobolev functions on a compact manifold is bounded from below, and moreover that this bound is dependent only on the intrinsic properties of the manifold. These provide complementary bounds for existing approximation results for ReLU networks on manifolds, which give upper bounds on generalization capacity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google