Accelerating Optimization via Differentiable Stopping Time

要約

最適化は、最新の機械学習アプリケーションの重要なモジュールです。
最適化アルゴリズムを加速するために多大な努力が払われています。
一般的な定式化は、特定の時間に低い損失を達成することです。
これにより、アルゴリズムハイパーパラメーターに関して微分可能なフレームワークが可能になります。
対照的に、その二重であり、ターゲット損失に到達する時間を最小限に抑えることは、時間が微分不可能ではないため、非差性であると考えられています。
その結果、通常、概念的なフレームワークとして機能するか、ゼロオーダーメソッドを使用して最適化されます。
この制限に対処するために、微分可能な停止時間を提案し、理論的に微分方程式に基づいて正当化します。
効率的なアルゴリズムは、それを通してバックプロパゲートするように設計されています。
その結果、提案された微分可能な停止時間により、加速するアルゴリズムのための新しい微分可能な定式化が可能になります。
さらに、オンラインハイパーパラメーターの調整や最適化の学習など、そのアプリケーションについて説明します。
提案されている方法は、さまざまな問題にわたる包括的な実験における優れたパフォーマンスを示しており、その有効性を確認しています。

要約(オリジナル)

Optimization is an important module of modern machine learning applications. Tremendous efforts have been made to accelerate optimization algorithms. A common formulation is achieving a lower loss at a given time. This enables a differentiable framework with respect to the algorithm hyperparameters. In contrast, its dual, minimizing the time to reach a target loss, is believed to be non-differentiable, as the time is not differentiable. As a result, it usually serves as a conceptual framework or is optimized using zeroth-order methods. To address this limitation, we propose a differentiable stopping time and theoretically justify it based on differential equations. An efficient algorithm is designed to backpropagate through it. As a result, the proposed differentiable stopping time enables a new differentiable formulation for accelerating algorithms. We further discuss its applications, such as online hyperparameter tuning and learning to optimize. Our proposed methods show superior performance in comprehensive experiments across various problems, which confirms their effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google