Can We Scale Transformers to Predict Parameters of Diverse ImageNet Models?

要約

大規模なデータセットでのニューラル ネットワークの事前トレーニングは、機械学習の基礎となりつつありますが、大規模なリソースを持つ少数のコミュニティのみが利用できます。
私たちは事前トレーニングを民主化するという野心的な目標を目指しています。
その目標に向けて、他のニューラル ネットワークの高品質な ImageNet パラメーターを予測できる単一のニューラル ネットワークをトレーニングしてリリースします。
初期化に予測パラメーターを使用することで、PyTorch で利用可能なさまざまな ImageNet モデルのトレーニングを強化できます。
他のデータセットに転送すると、予測パラメーターで初期化されたモデルもより速く収束し、競争力のある最終パフォーマンスに達します。

要約(オリジナル)

Pretraining a neural network on a large dataset is becoming a cornerstone in machine learning that is within the reach of only a few communities with large-resources. We aim at an ambitious goal of democratizing pretraining. Towards that goal, we train and release a single neural network that can predict high quality ImageNet parameters of other neural networks. By using predicted parameters for initialization we are able to boost training of diverse ImageNet models available in PyTorch. When transferred to other datasets, models initialized with predicted parameters also converge faster and reach competitive final performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google