Average-case Acceleration Through Spectral Density Estimation

要約

ランダム二次問題の平均ケース分析のフレームワークを開発し、この分析で最適なアルゴリズムを導出します。
これにより、与えられたヘッセ行列固有値分布のモデルで高速化を実現する新しいクラスのメソッドが生成されます。
一様分布、Marchenko-Pastur 分布、および指数分布の明示的なアルゴリズムを開発します。
これらの方法は運動量ベースのアルゴリズムであり、ネステロフ加速やポリアック運動量などの古典的な加速法とは対照的に、ヘッセ行列の最小特異値を知らなくてもハイパーパラメーターを推定できます。
二次およびロジスティック回帰問題に関する経験的ベンチマークを通じて、提案された方法が従来の (最悪の場合の) 加速された方法よりも改善されるレジームを特定します。

要約(オリジナル)

We develop a framework for the average-case analysis of random quadratic problems and derive algorithms that are optimal under this analysis. This yields a new class of methods that achieve acceleration given a model of the Hessian’s eigenvalue distribution. We develop explicit algorithms for the uniform, Marchenko-Pastur, and exponential distributions. These methods are momentum-based algorithms, whose hyper-parameters can be estimated without knowledge of the Hessian’s smallest singular value, in contrast with classical accelerated methods like Nesterov acceleration and Polyak momentum. Through empirical benchmarks on quadratic and logistic regression problems, we identify regimes in which the the proposed methods improve over classical (worst-case) accelerated methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google