High-dimensional classification problems with Barron regular boundaries under margin conditions

要約

我々は、マージン条件を仮定した場合、バロン規則的な決定境界を持つ分類器が、3 つの隠れ層を持つ ReLU ニューラル ネットワークによって高い多項式次数のレートで近似できることを証明します。
特に、強いマージン条件の場合、高次元の不連続分類子は、通常、低次元の滑らかな関数を近似する場合にのみ達成可能なレートで近似できます。
これらの表現レート限界が、$n^{-1}$ ($n$ はサンプル数) に近い高速学習限界をどのように暗示するかを示します。
さらに、さまざまなマージンをもった二値分類問題に対する包括的な数値実験を実施します。
私たちは 3 つの異なる次元を研究し、最も高い次元の問題は MNIST データセットからの画像に対応します。

要約(オリジナル)

We prove that a classifier with a Barron-regular decision boundary can be approximated with a rate of high polynomial degree by ReLU neural networks with three hidden layers when a margin condition is assumed. In particular, for strong margin conditions, high-dimensional discontinuous classifiers can be approximated with a rate that is typically only achievable when approximating a low-dimensional smooth function. We demonstrate how these expression rate bounds imply fast-rate learning bounds that are close to $n^{-1}$ where $n$ is the number of samples. In addition, we carry out comprehensive numerical experimentation on binary classification problems with various margins. We study three different dimensions, with the highest dimensional problem corresponding to images from the MNIST data set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google