On the rates of convergence for learning with convolutional neural networks

要約

私たちは畳み込みニューラル ネットワーク (CNN) の近似と学習能力を研究します。
最初の結果は、重みに特定の制約がある CNN の新しい近似限界を証明します。
2 番目の結果は、特殊なケースとして CNN を含むフィードフォワード ニューラル ネットワークの対象数に関する新しい分析を提供します。
分析では重みのサイズが慎重に考慮されるため、状況によっては既存の文献よりも優れた境界が得られます。
これら 2 つの結果を使用すると、多くの学習問題における CNN に基づく推定量の収束率を導き出すことができます。
特に、ノンパラメトリック回帰設定で滑らかな関数を学習するために、CNN に基づいて最小二乗のミニマックス最適収束率を確立します。
バイナリ分類の場合、ヒンジ損失とロジスティック損失を含む CNN 分類器の収束率を導き出します。
また、得られたレートがいくつかの設定において最小最適であることも示されています。

要約(オリジナル)

We study the approximation and learning capacities of convolutional neural networks (CNNs). Our first result proves a new approximation bound for CNNs with certain constraint on the weights. Our second result gives a new analysis on the covering number of feed-forward neural networks, which include CNNs as special cases. The analysis carefully takes into account the size of the weights and hence gives better bounds than existing literature in some situations. Using these two results, we are able to derive rates of convergence for estimators based on CNNs in many learning problems. In particular, we establish minimax optimal convergence rates of the least squares based on CNNs for learning smooth functions in the nonparametric regression setting. For binary classification, we derive convergence rates for CNN classifiers with hinge loss and logistic loss. It is also shown that the obtained rates are minimax optimal in several settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google