Approximation bounds for norm constrained neural networks with applications to regression and GANs

要約

タイトル：正則化されたニューラルネットワークによる近似項の境界と、回帰およびGANへの応用

要約：
– ReLUニューラルネットワークの近似容量を、重みのノルム制約を付けた場合について研究する。
– スムーズな関数クラスに対して、これらネットワークの近似誤差について上限と下限を証明する。
– 下限はニューラルネットワークのラデマッハー複雑性を通じて導出され、独立した興味を持たれるかもしれない。
– これらの近似境界を応用して、正則化されたニューラルネットワークを用いた回帰の収束と、GANによる分布推定を分析する。
– 特に、過パラメータ化されたニューラルネットワークの収束率を得ることができる。
– また、GANは、識別器が適切に選択されたノルム制約されたニューラルネットワークである場合に、確率分布の学習において最適な学習率を達成することが示されている。

要約(オリジナル)

This paper studies the approximation capacity of ReLU neural networks with norm constraint on the weights. We prove upper and lower bounds on the approximation error of these networks for smooth function classes. The lower bound is derived through the Rademacher complexity of neural networks, which may be of independent interest. We apply these approximation bounds to analyze the convergences of regression using norm constrained neural networks and distribution estimation by GANs. In particular, we obtain convergence rates for over-parameterized neural networks. It is also shown that GANs can achieve optimal rate of learning probability distributions, when the discriminator is a properly chosen norm constrained neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI