Towards Stability of Parameter-free Optimization

要約

ハイパーパラメータの調整、特に適応勾配トレーニング法における適切な学習率の選択は依然として課題です。
この課題に取り組むために、この論文では、手動調整なしでさまざまな最適化問題に自動的に適応するように設計された、新しいパラメーターフリーのオプティマイザーである AdamG (黄金ステップ サイズの Adam) を提案します。
AdamG の基礎となるコア技術は、AdaGrad-Norm アルゴリズム用に導出されたゴールデン ステップ サイズです。これは、AdaGrad-Norm がチューニング不要の収束を維持し、期待に基づいて最適なステップ サイズを近似するのに役立つと期待されています。
さまざまな最適化シナリオ。
チューニング不要のパフォーマンスをより適切に評価するために、従来のパフォーマンス基準に加えてパラメーターフリーのオプティマイザーの有効性を包括的に評価するための新しい評価基準である安定性を提案します。
経験的な結果は、他のパラメータなしのベースラインと比較して、AdamG が優れたパフォーマンスを達成し、さまざまな最適化タスクにわたって手動で調整された学習率を使用する Adam と一貫して同等であることを示しています。

要約(オリジナル)

Hyperparameter tuning, particularly the selection of an appropriate learning rate in adaptive gradient training methods, remains a challenge. To tackle this challenge, in this paper, we propose a novel parameter-free optimizer, AdamG (Adam with the golden step size), designed to automatically adapt to diverse optimization problems without manual tuning. The core technique underlying AdamG is our golden step size derived for the AdaGrad-Norm algorithm, which is expected to help AdaGrad-Norm preserve the tuning-free convergence and approximate the optimal step size in expectation w.r.t. various optimization scenarios. To better evaluate tuning-free performance, we propose a novel evaluation criterion, stability, to comprehensively assess the efficacy of parameter-free optimizers in addition to classical performance criteria. Empirical results demonstrate that compared with other parameter-free baselines, AdamG achieves superior performance, which is consistently on par with Adam using a manually tuned learning rate across various optimization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google