Strong convexity-guided hyper-parameter optimization for flatter losses

要約

ハイパーパラメータ最適化に対する新しいホワイトボックスアプローチを提案します。
平坦な最小値と一般化の間の関係を確立した最近の研究に動機付けられて、我々はまず、損失の強い凸性とその平坦性の間の関係を確立します。
これに基づいて、損失の強い凸性を最小限に抑えて平坦性を改善するハイパーパラメータ構成を見つけようとします。
基礎となるニューラル ネットワークの構造を使用して、強い凸性パラメーターを近似する閉形式方程式を導出し、ランダム化された方法でそれを最小化するハイパーパラメーターを見つけようとします。
14 の分類データセットの実験を通じて、私たちの方法がわずかな実行時間で強力なパフォーマンスを達成することを示しました。

要約(オリジナル)

We propose a novel white-box approach to hyper-parameter optimization. Motivated by recent work establishing a relationship between flat minima and generalization, we first establish a relationship between the strong convexity of the loss and its flatness. Based on this, we seek to find hyper-parameter configurations that improve flatness by minimizing the strong convexity of the loss. By using the structure of the underlying neural network, we derive closed-form equations to approximate the strong convexity parameter, and attempt to find hyper-parameters that minimize it in a randomized fashion. Through experiments on 14 classification datasets, we show that our method achieves strong performance at a fraction of the runtime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google