Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination

要約

過去 10 年間にわたり、ディープ ラーニングは、生データから意味のある特徴を学習するための非常に効果的なツールであることが証明されてきました。
ただし、ディープネットワークがレイヤー間で階層的な特徴学習をどのように実行するかは未解決の問題のままです。
この研究では、中間特徴の構造を調査することによってこの謎を明らかにしようとします。
線形層が特徴学習のために非線形ネットワークの深層の役割を模倣しているという経験的発見に動機付けられ、深層線形ネットワークがどのように入力データを出力に変換するかを調査します。
マルチクラス分類の問題。
この目標に向けて、最初に、中間特徴のクラス内圧縮とクラス間の区別をそれぞれ測定するためのメトリクスを定義します。
これら 2 つのメトリックの理論的分析を通じて、入力データがほぼ直交し、ネットワークの重みが最小ノルムでバランスが取れており、ほぼ低ランクである場合、特徴の進化は浅い層から深い層まで単純かつ定量的なパターンに従っていることを示します。
線形ネットワークの各層は、クラス内の特徴を幾何学的速度で徐々に圧縮し、データが通過した層の数に関して線形速度でクラス間の特徴を区別します。
私たちの知る限り、これは深層線形ネットワークの階層表現における特徴の進化を定量的に特徴付けた最初の例です。
経験的に、私たちの広範な実験は理論的結果を数値的に検証するだけでなく、最近の実証研究とよく一致する深層非線形ネットワークにおける同様のパターンも明らかにします。
さらに、転移学習における結果の実際的な意味を実証します。
コードは \url{https://github.com/Heimine/PNC_DLN} で入手できます。

要約(オリジナル)

Over the past decade, deep learning has proven to be a highly effective tool for learning meaningful features from raw data. However, it remains an open question how deep networks perform hierarchical feature learning across layers. In this work, we attempt to unveil this mystery by investigating the structures of intermediate features. Motivated by our empirical findings that linear layers mimic the roles of deep layers in nonlinear networks for feature learning, we explore how deep linear networks transform input data into output by investigating the output (i.e., features) of each layer after training in the context of multi-class classification problems. Toward this goal, we first define metrics to measure within-class compression and between-class discrimination of intermediate features, respectively. Through theoretical analysis of these two metrics, we show that the evolution of features follows a simple and quantitative pattern from shallow to deep layers when the input data is nearly orthogonal and the network weights are minimum-norm, balanced, and approximate low-rank: Each layer of the linear network progressively compresses within-class features at a geometric rate and discriminates between-class features at a linear rate with respect to the number of layers that data have passed through. To the best of our knowledge, this is the first quantitative characterization of feature evolution in hierarchical representations of deep linear networks. Empirically, our extensive experiments not only validate our theoretical results numerically but also reveal a similar pattern in deep nonlinear networks which aligns well with recent empirical studies. Moreover, we demonstrate the practical implications of our results in transfer learning. Our code is available at \url{https://github.com/Heimine/PNC_DLN}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google