PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in Arbitrary Subspaces

要約

タイトル：PED-ANOVA：任意のサブスペースでハイパーパラメーターの重要性を効率的に定量化する方法

要約：
– 深層学習におけるハイパーパラメーターの最適化の人気が高まるにつれて、良いハイパーパラメーター空間の設計が強いモデルの訓練に果たす役割が明らかになってきました。
– 良いハイパーパラメーター空間を設計するためには、異なるハイパーパラメーターの役割を理解することが重要です。このため、HP Importance（HPI）の研究が推進されています（例えば、機能的ANOVA（f-ANOVA）のような人気のある方法で）。
– しかし、元のf-ANOVAの公式は、アルゴリズム設計者にとって最も関連性の高いサブスペース（例えば、最高性能で定義されるもの）には適用できません。
– この問題を解決するために、任意のサブスペースに対するf-ANOVAの新しい公式を導出し、Pearson divergence（PED）を使用してHPIの閉形式計算を可能にするアルゴリズムを提案します。
– この新しいアルゴリズム、PED-ANOVAは、異なるサブスペースで重要なHPを正確に識別しつつ、計算量が非常に効率的であることを示しています。

要約(オリジナル)

The recent rise in popularity of Hyperparameter Optimization (HPO) for deep learning has highlighted the role that good hyperparameter (HP) space design can play in training strong models. In turn, designing a good HP space is critically dependent on understanding the role of different HPs. This motivates research on HP Importance (HPI), e.g., with the popular method of functional ANOVA (f-ANOVA). However, the original f-ANOVA formulation is inapplicable to the subspaces most relevant to algorithm designers, such as those defined by top performance. To overcome this problem, we derive a novel formulation of f-ANOVA for arbitrary subspaces and propose an algorithm that uses Pearson divergence (PED) to enable a closed-form computation of HPI. We demonstrate that this new algorithm, dubbed PED-ANOVA, is able to successfully identify important HPs in different subspaces while also being extremely computationally efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI