Python Wrapper for Simulating Multi-Fidelity Optimization on HPO Benchmarks without Any Wait

要約

ディープ ラーニング (DL) のハイパーパラメータ (HP) 最適化は、高いパフォーマンスを実現するために不可欠です。
DL のトレーニングには数時間から数日かかることが多いため、DL の HP 最適化 (HPO) には法外なコストがかかることがよくあります。
これにより、表形式または代理ベンチマークの出現が促進され、特定の HP 構成での DL の (予測) パフォーマンスを短時間でクエリできるようになりました。
ただし、DL トレーニングの実際の実行時間はクエリの応答時間とは大幅に異なるため、非同期 HPO のシミュレーター、たとえば
マルチ忠実度の最適化では、単純な実装では反復ごとに実際のランタイムを待つ必要があります。
そうしないと、シミュレーション中の評価順序が実際の実験と一致しません。
この問題を軽減するために、Python ラッパーを開発し、その使用法を説明しました。
このラッパーは各ワーカーに待機を強制するため、数時間待機するのではなく、わずか $10^{-2}$ 秒の待機で実際の実験とまったく同じ評価順序が得られます。
私たちの実装は https://github.com/nabenabe0928/mfhpo-simulator/ で入手できます。

要約(オリジナル)

Hyperparameter (HP) optimization of deep learning (DL) is essential for high performance. As DL often requires several hours to days for its training, HP optimization (HPO) of DL is often prohibitively expensive. This boosted the emergence of tabular or surrogate benchmarks, which enable querying the (predictive) performance of DL with a specific HP configuration in a fraction. However, since the actual runtime of a DL training is significantly different from its query response time, simulators of an asynchronous HPO, e.g. multi-fidelity optimization, must wait for the actual runtime at each iteration in a na\’ive implementation; otherwise, the evaluation order during simulation does not match with the real experiment. To ease this issue, we developed a Python wrapper and describe its usage. This wrapper forces each worker to wait so that we yield exactly the same evaluation order as in the real experiment with only $10^{-2}$ seconds of waiting instead of waiting several hours. Our implementation is available at https://github.com/nabenabe0928/mfhpo-simulator/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google