Efficient Training Under Limited Resources

要約

トレーニング時間の予算とデータセットのサイズは、ディープ ニューラル ネットワーク (DNN) のパフォーマンスに影響を与える要因の 1 つです。
このホワイト ペーパーでは、Neural Architecture Search (NAS)、Hyper Parameters Optimization (HPO)、および Data Augmentation が、DNN のパフォーマンスを大幅に向上させる一方で、これら 2 つの要因が制限されていることを示しています。
ただし、最適なアーキテクチャと最適なハイパーパラメーター値を検索するだけでなく、リソースが少ない場合にデータ拡張技術を適切に組み合わせるには、多くの実験が必要です。
このような目標を達成するためのアプローチを 3 つのステップで示します。元のモデルと比較してパフォーマンスを維持しながらモデルを圧縮することでトレーニング エポック時間を短縮し、データセットが小さい場合にモデルのオーバーフィッティングを防止し、ハイパーパラメータ チューニングを実行します。
NAS と HPO を実行するために、導関数を使用しないアルゴリズムに基づくブラックボックス最適化ソフトウェアである NOMAD を使用しました。
私たちの作業は、ICLR 2021 Hardware Aware Efficient Training (HAET) チャレンジで Mini-ImageNet の小さなサブセットで 86.0% の精度を達成し、コンテストで 2 位を獲得しました。
コンテストの結果は haet2021.github.io/challenge で、ソース コードは github.com/DouniaLakhmiri/ICLR\_HAET2021 で見つけることができます。

要約(オリジナル)

Training time budget and size of the dataset are among the factors affecting the performance of a Deep Neural Network (DNN). This paper shows that Neural Architecture Search (NAS), Hyper Parameters Optimization (HPO), and Data Augmentation help DNNs perform much better while these two factors are limited. However, searching for an optimal architecture and the best hyperparameter values besides a good combination of data augmentation techniques under low resources requires many experiments. We present our approach to achieving such a goal in three steps: reducing training epoch time by compressing the model while maintaining the performance compared to the original model, preventing model overfitting when the dataset is small, and performing the hyperparameter tuning. We used NOMAD, which is a blackbox optimization software based on a derivative-free algorithm to do NAS and HPO. Our work achieved an accuracy of 86.0 % on a tiny subset of Mini-ImageNet at the ICLR 2021 Hardware Aware Efficient Training (HAET) Challenge and won second place in the competition. The competition results can be found at haet2021.github.io/challenge and our source code can be found at github.com/DouniaLakhmiri/ICLR\_HAET2021.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google