Python Tool for Visualizing Variability of Pareto Fronts over Multiple Runs

要約

ハイパーパラメータの最適化は、ディープラーニングで高い性能を達成するために極めて重要です。性能に加えて、推論時間やメモリ要件などの他の基準も、何らかの実用的な理由によって最適化する必要があることが多い。このため、多目的最適化（MOO）の研究が動機付けられます。しかし、MOO手法のパレートフロントは、ランダムな種によるばらつきを考慮せずに示されることが多く、性能の安定性評価を困難にしている。経験的達成曲面という概念があり、複数回の実行による不確実性を考慮した可視化が可能であるが、経験的達成曲面のための主要なPythonパッケージは存在しない。そこで、経験的達成曲面のためのPythonパッケージを開発し、その使用方法を説明する。パッケージは https://github.com/nabenabe0928/empirical-attainment-func で公開されている。

要約(オリジナル)

Hyperparameter optimization is crucial to achieving high performance in deep learning. On top of the performance, other criteria such as inference time or memory requirement often need to be optimized due to some practical reasons. This motivates research on multi-objective optimization (MOO). However, Pareto fronts of MOO methods are often shown without considering the variability caused by random seeds and this makes the performance stability evaluation difficult. Although there is a concept named empirical attainment surface to enable the visualization with uncertainty over multiple runs, there is no major Python package for empirical attainment surface. We, therefore, develop a Python package for this purpose and describe the usage. The package is available at https://github.com/nabenabe0928/empirical-attainment-func.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL