On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing

要約

畳み込みニューラル ネットワークと同様、重み共有、等分散、ローカル フィルターは、ニューラル ネットワークのサンプル効率に寄与すると考えられています。
ただし、これらの設計上の選択のそれぞれが一般化誤差にどのように寄与するかは明らかではありません。
私たちは、統計学習理論のレンズを通して、サンプルの複雑さに対する各選択の相対的な影響を特徴付けることで、この問題への洞察を提供することを目指しています。
単一隠れ層ネットワークのクラスのサンプル複雑さの下限と上限を取得します。
等分散性の向上は限界に直接現れますが、重み共有の同様の増加は共有メカニズムに依存することが示されています。
私たちの結果の中で、プーリング操作のクラスに対する等変ネットワークの完全に次元フリーの境界が得られます。
境界はフィルターのノルムにのみ依存し、それぞれの行列のスペクトル ノルムを使用するよりも厳密であることを示します。
また、特に空間フィルターがバニラ畳み込みニューラル ネットワークのように局所化されている場合、空間領域と周波数領域でのフィルターのパラメーター化の間のサンプルの複雑さのトレードオフも特徴付けます。

要約(オリジナル)

Weight sharing, equivariance, and local filters, as in convolutional neural networks, are believed to contribute to the sample efficiency of neural networks. However, it is not clear how each one of these design choices contribute to the generalization error. Through the lens of statistical learning theory, we aim to provide an insight into this question by characterizing the relative impact of each choice on the sample complexity. We obtain lower and upper sample complexity bounds for a class of single hidden layer networks. It is shown that the gain of equivariance is directly manifested in the bound, while getting a similar increase for weight sharing depends on the sharing mechanism. Among our results, we obtain a completely dimension-free bound for equivariant networks for a class of pooling operations. We show that the bound depends merely on the norm of filters, which is tighter than using the spectral norm of the respective matrix. We also characterize the trade-off in sample complexity between the parametrization of filters in spatial and frequency domains, particularly when spatial filters are localized as in vanilla convolutional neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google