Effective training-time stacking for ensembling of deep neural networks

要約

アンサンブルは、機械学習（ML）モデルを改善するための一般的で効果的な方法です。
これは、古典的なMLだけでなく、深層学習にもその価値を証明します。
アンサンブルは、MLソリューションの品質と信頼性を高め、不確実性の推定を可能にします。
ただし、コストがかかります。深層学習モデルのトレーニングアンサンブルは、大量の計算リソースを消費します。
スナップショットアンサンブルは、単一のトレーニングパスに沿ってアンサンブル内のモデルを収集します。
トレーニングは1回だけ実行されるため、計算時間は1つのモデルのトレーニングと同様です。
ただし、トレーニングパスに沿ったモデルの品質は異なります。通常、過剰適合が発生しない場合は、後のモデルの方が優れています。
したがって、モデルの有用性はさまざまです。
この方法では、トレーニングパスに沿ってアンサンブルメンバーを選択して重み付けすることにより、スナップショットアンサンブルを改善します。
これは、標準のスタッキング方法で行われる検証サンプルエラーを確認せずに、トレーニング時間の可能性に依存しています。
ファッションMNIST、CIFAR-10、およびCIFAR-100データセットの実験的証拠は、提案された加重アンサンブルc.t.の優れた品質を示しています。
深層学習モデルのバニラアンサンブル。

要約(オリジナル)

Ensembling is a popular and effective method for improving machine learning (ML) models. It proves its value not only in classical ML but also for deep learning. Ensembles enhance the quality and trustworthiness of ML solutions, and allow uncertainty estimation. However, they come at a price: training ensembles of deep learning models eat a huge amount of computational resources. A snapshot ensembling collects models in the ensemble along a single training path. As it runs training only one time, the computational time is similar to the training of one model. However, the quality of models along the training path is different: typically, later models are better if no overfitting occurs. So, the models are of varying utility. Our method improves snapshot ensembling by selecting and weighting ensemble members along the training path. It relies on training-time likelihoods without looking at validation sample errors that standard stacking methods do. Experimental evidence for Fashion MNIST, CIFAR-10, and CIFAR-100 datasets demonstrates the superior quality of the proposed weighted ensembles c.t. vanilla ensembling of deep learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google