Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models

要約

監視されていない訓練前および転送学習は、特に限られたラベル付きデータを持つ設定で、ニューラルネットワークのトレーニングアルゴリズムを初期化するために一般的に使用されています。
この論文では、高次元の監視学習のサンプルの複雑さに対する監視されていない監視されていない訓練前および転送学習の効果を研究します。
具体的には、オンラインの確率的勾配降下を介して単一層ニューラルネットワークをトレーニングする問題を検討します。
トレーニング前および転送学習（概念シフトの下）は、非常に一般的な仮定の下での多項式要因（次元）によりサンプルの複雑さを減らすことを確立します。
また、サンプルの複雑さの観点からランダムな初期化よりも指数関数的な改善を担当する驚くべき設定を発見します。

要約(オリジナル)

Unsupervised pre-training and transfer learning are commonly used techniques to initialize training algorithms for neural networks, particularly in settings with limited labeled data. In this paper, we study the effects of unsupervised pre-training and transfer learning on the sample complexity of high-dimensional supervised learning. Specifically, we consider the problem of training a single-layer neural network via online stochastic gradient descent. We establish that pre-training and transfer learning (under concept shift) reduce sample complexity by polynomial factors (in the dimension) under very general assumptions. We also uncover some surprising settings where pre-training grants exponential improvement over random initialization in terms of sample complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google