Calibrated Chaos: Variance Between Runs of Neural Network Training is Harmless and Inevitable

要約

タイトル：Calibrated Chaos：ニューラルネットワークのトレーニングのランの分散は無害で避けがたい

要約：
1.標準的なCIFAR-10およびImageNetのトレーニングにも、テストセットの性能には重大な分散がある。しかし、これらの分散は標本化されたテスト分布に対して、テスト分布からのパフォーマンスにほとんど影響を与えないため、実用的な問題ではない可能性がある。
2.テストセットの精度分布の構造に近似する単純化された統計的仮定を提示する。
3.トレーニングプロセスが初期条件に対して高い感度であるため、分散が発生することがほとんどあり、データの順序や拡張のような特定のランダム要因ではないことを示す。また、訓練済みのネットワークのアンサンブルがうまく校正されていることから、分散が避けられないことを証明する。
4.分散に関する観点から、ディストリビューションシフト、微調整、データ拡張、および学習率について、予備的な研究を行っている。

要約(オリジナル)

Typical neural network trainings have substantial variance in test-set performance between repeated runs, impeding hyperparameter comparison and training reproducibility. We present the following results towards understanding this variation. (1) Despite having significant variance on their test-sets, we demonstrate that standard CIFAR-10 and ImageNet trainings have very little variance in their performance on the test-distributions from which those test-sets are sampled, suggesting that variance is less of a practical issue than previously thought. (2) We present a simplifying statistical assumption which closely approximates the structure of the test-set accuracy distribution. (3) We argue that test-set variance is inevitable in the following two senses. First, we show that variance is largely caused by high sensitivity of the training process to initial conditions, rather than by specific sources of randomness like the data order and augmentations. Second, we prove that variance is unavoidable given the observation that ensembles of trained networks are well-calibrated. (4) We conduct preliminary studies of distribution-shift, fine-tuning, data augmentation and learning rate through the lens of variance between runs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI