PASHA: Efficient HPO and NAS with Progressive Resource Allocation

要約

ハイパーパラメーター最適化 (HPO) とニューラル アーキテクチャ検索 (NAS) は、クラス最高の機械学習モデルを取得するための最適な方法ですが、実際には実行にコストがかかる可能性があります。
モデルが大規模なデータセットでトレーニングされる場合、HPO や NAS を使用してモデルを調整すると、効率的なマルチフィデリティ手法が採用されている場合でも、実践者にとって法外なコストが急速にかかります。
計算リソースが限られている大規模なデータセットでトレーニングされた機械学習モデルを調整するという課題に取り組むためのアプローチを提案します。
PASHA と名付けられた私たちのアプローチは、ASHA を拡張し、必要に応じてチューニング手順に最大のリソースを動的に割り当てることができます。
実験的な比較では、PASHA が、ASHA よりも大幅に少ない計算リソースを消費しながら、パフォーマンスの高いハイパーパラメーター構成とアーキテクチャを特定することが示されています。

要約(オリジナル)

Hyperparameter optimization (HPO) and neural architecture search (NAS) are methods of choice to obtain the best-in-class machine learning models, but in practice they can be costly to run. When models are trained on large datasets, tuning them with HPO or NAS rapidly becomes prohibitively expensive for practitioners, even when efficient multi-fidelity methods are employed. We propose an approach to tackle the challenge of tuning machine learning models trained on large datasets with limited computational resources. Our approach, named PASHA, extends ASHA and is able to dynamically allocate maximum resources for the tuning procedure depending on the need. The experimental comparison shows that PASHA identifies well-performing hyperparameter configurations and architectures while consuming significantly fewer computational resources than ASHA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google