LMEMs for post-hoc analysis of HPO Benchmarking

要約

機械学習 (ML) と深層学習 (DL) におけるハイパーパラメーターの調整の重要性は、実証的な研究と応用を通じて確立されており、コミュニティによって着実に追加されている新しいハイパーパラメーター最適化 (HPO) アルゴリズムとベンチマークの増加からも明らかです。
ただし、多くのデータセットにわたる平均パフォーマンスを使用する現在のベンチマーク手法では、特にペアごとの比較において、HPO 手法間の重要な違いが曖昧になる可能性があります。
この研究では、HPO ベンチマーク実行の事後分析に線形混合効果モデルベース (LMEM) の有意性テストを適用します。
LMEM を使用すると、ベンチマークのメタ特徴などの情報を含む実験データ全体の柔軟かつ表現力豊かなモデリングが可能になり、現在の分析手法よりも深い洞察が得られます。
これを、PriorBand 論文の実験データのケーススタディを通じて実証し、元の研究では報告されていない洞察を見つけます。

要約(オリジナル)

The importance of tuning hyperparameters in Machine Learning (ML) and Deep Learning (DL) is established through empirical research and applications, evident from the increase in new hyperparameter optimization (HPO) algorithms and benchmarks steadily added by the community. However, current benchmarking practices using averaged performance across many datasets may obscure key differences between HPO methods, especially for pairwise comparisons. In this work, we apply Linear Mixed-Effect Models-based (LMEMs) significance testing for post-hoc analysis of HPO benchmarking runs. LMEMs allow flexible and expressive modeling on the entire experiment data, including information such as benchmark meta-features, offering deeper insights than current analysis practices. We demonstrate this through a case study on the PriorBand paper’s experiment data to find insights not reported in the original work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google