Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt

要約

Web スケール データのトレーニングには数か月かかる場合があります。
しかし、ほとんどの計算と時間は、既に学習済みまたは学習不可能な冗長でノイズの多い点で浪費されます。
トレーニングを加速するために、Reducible Holdout Loss Selection (RHO-LOSS) を導入します。これは、モデルの一般化損失を最も低減するトレーニングのポイントをほぼ選択する、単純ですが原理に基づいた手法です。
その結果、RHO-LOSS は既存のデータ選択方法の弱点を軽減します。最適化に関する文献からの手法は、通常、「ハード」(高損失など) のポイントを選択しますが、そのようなポイントは多くの場合、ノイズが多い (学習不可能) か、タスクとの関連性が低くなります。
逆に、カリキュラム学習では「簡単な」ポイントが優先されますが、そのようなポイントは一度学習するとトレーニングする必要はありません。
対照的に、RHO-LOSS は、学習可能で、学習する価値があり、まだ学習していないポイントを選択します。
RHO-LOSS は、従来技術よりもはるかに少ないステップでトレーニングし、精度を向上させ、幅広いデータセット、ハイパーパラメーター、およびアーキテクチャ (MLP、CNN、および BERT) でのトレーニングを高速化します。
大規模な Web スクレイピング画像データセット Clothing-1M では、RHO-LOSS は 18 倍少ないステップでトレーニングし、均一なデータ シャッフルよりも 2% 高い最終精度に達します。

要約(オリジナル)

Training on web-scale data can take months. But most computation and time is wasted on redundant and noisy points that are already learnt or not learnable. To accelerate training, we introduce Reducible Holdout Loss Selection (RHO-LOSS), a simple but principled technique which selects approximately those points for training that most reduce the model’s generalization loss. As a result, RHO-LOSS mitigates the weaknesses of existing data selection methods: techniques from the optimization literature typically select ‘hard’ (e.g. high loss) points, but such points are often noisy (not learnable) or less task-relevant. Conversely, curriculum learning prioritizes ‘easy’ points, but such points need not be trained on once learned. In contrast, RHO-LOSS selects points that are learnable, worth learning, and not yet learnt. RHO-LOSS trains in far fewer steps than prior art, improves accuracy, and speeds up training on a wide range of datasets, hyperparameters, and architectures (MLPs, CNNs, and BERT). On the large web-scraped image dataset Clothing-1M, RHO-LOSS trains in 18x fewer steps and reaches 2% higher final accuracy than uniform data shuffling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google