Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks

要約

ディープラーニングの理論における中心的な問題の1つは、ニューラルネットワークがどのように階層的な特徴を学習するのかを理解することである。ディープネットワークが顕著な特徴を抽出する能力は、その卓越した汎化能力と、事前学習と微調整という現代のディープラーニングパラダイムとの両方にとって極めて重要である。しかし、この特徴学習プロセスは、理論的な観点からはまだ十分に理解されておらず、既存の分析では、ほとんどが2層ネットワークに限定されています。本研究では、3層ニューラルネットワークが、2層ネットワークよりも証明的に豊富な特徴学習能力を持つことを示す。我々は、層状勾配降下法で学習させた3層ネットワークが学習する特徴を分析し、ターゲットが特定の階層構造を持つ場合に低いテストエラーを達成するために必要なサンプルの複雑さと幅を上限とする汎用定理を提示する。このフレームワークを特定の統計学習設定（単指数モデルと2次特徴量の関数）でインスタンス化し、後者の設定では3層ネットワークが2層ネットワークに対する既存の保証をすべて上回るサンプル複雑度の改善を得ることを示す。このサンプル複雑度の向上は、3層ネットワークが非線形特徴を効率的に学習する能力に依存していることが重要である。次に、3層ネットワークでは勾配降下により効率的に学習可能であるが、2層ネットワークでは効率的に学習できない関数を構成することで、最適化に基づく深さ分離を具体的に確立する。本研究は、特徴学習領域において、3層ニューラルネットワークが2層ネットワークよりも優れていることの証明可能な理解に向けて前進するものである。

要約(オリジナル)

One of the central questions in the theory of deep learning is to understand how neural networks learn hierarchical features. The ability of deep networks to extract salient features is crucial to both their outstanding generalization ability and the modern deep learning paradigm of pretraining and finetuneing. However, this feature learning process remains poorly understood from a theoretical perspective, with existing analyses largely restricted to two-layer networks. In this work we show that three-layer neural networks have provably richer feature learning capabilities than two-layer networks. We analyze the features learned by a three-layer network trained with layer-wise gradient descent, and present a general purpose theorem which upper bounds the sample complexity and width needed to achieve low test error when the target has specific hierarchical structure. We instantiate our framework in specific statistical learning settings — single-index models and functions of quadratic features — and show that in the latter setting three-layer networks obtain a sample complexity improvement over all existing guarantees for two-layer networks. Crucially, this sample complexity improvement relies on the ability of three-layer networks to efficiently learn nonlinear features. We then establish a concrete optimization-based depth separation by constructing a function which is efficiently learnable via gradient descent on a three-layer network, yet cannot be learned efficiently by a two-layer network. Our work makes progress towards understanding the provable benefit of three-layer neural networks over two-layer networks in the feature learning regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL