Quasi-Newton Steps for Efficient Online Exp-Concave Optimization

要約

この論文の目的は、オンラインおよび確率論的指数凹面最適化設定のための計算効率の高い最適なアルゴリズムを設計することです。
オンライン ニュートン ステップ (ONS) などのこれらの設定の典型的なアルゴリズムは、$T$ ラウンド後のリグレットの $O(d\ln T)$ バウンドを保証できます。ここで、$d$ は実行可能セットの次元です。
ただし、そのようなアルゴリズムは、反復が実行可能セットの外に出るたびに、いわゆる一般化された投影を実行します。
このような一般化された射影では、ユークリッド ボールなどの単純なセットでも $\Omega(d^3)$ の算術演算が必要になり、最悪の場合、$T$ ラウンド後に $d^3 T$ のオーダーの ONS の合計実行時間が発生します。
この論文では、ニュートンステップを計算するための正則化子として自己一致バリアを使用することにより、一般化された投影を回避します。
これにより、射影を必要とせずに、反復が常に実行可能セット内にあることが保証されます。
このアプローチでも、すべてのステップでバリアのヘッセ行列の逆数を計算する必要があります。
ただし、ニュートン ステップの安定性特性を使用して、ヘッセ行列の逆行列がほとんどのラウンドでテイラー展開を介して効率的に近似できることを示し、結果として $O(d^2 T +d^\omega \sqrt{T}
)$ 総計算量、ここで $\omega$ は行列乗算の指数です。
確率論的設定では、これが $\epsilon$-準最適点を見つけるための $O(d^3/\epsilon)$ 計算の複雑さに変換されることを示し、Koren 2013 による未解決の問題に答えます。まず、これらの新しい結果を示します。
実行可能セットがユークリッド ボールである単純なケースの場合。
次に、一般的な凸集合に移動するために、ユークリッド ボールに対するオンライン凸最適化への縮小を使用します。
最終的なアルゴリズムは、ONS のより効率的なバージョンと見なすことができます。

要約(オリジナル)

The aim of this paper is to design computationally-efficient and optimal algorithms for the online and stochastic exp-concave optimization settings. Typical algorithms for these settings, such as the Online Newton Step (ONS), can guarantee a $O(d\ln T)$ bound on their regret after $T$ rounds, where $d$ is the dimension of the feasible set. However, such algorithms perform so-called generalized projections whenever their iterates step outside the feasible set. Such generalized projections require $\Omega(d^3)$ arithmetic operations even for simple sets such a Euclidean ball, making the total runtime of ONS of order $d^3 T$ after $T$ rounds, in the worst-case. In this paper, we side-step generalized projections by using a self-concordant barrier as a regularizer to compute the Newton steps. This ensures that the iterates are always within the feasible set without requiring projections. This approach still requires the computation of the inverse of the Hessian of the barrier at every step. However, using the stability properties of the Newton steps, we show that the inverse of the Hessians can be efficiently approximated via Taylor expansions for most rounds, resulting in a $O(d^2 T +d^\omega \sqrt{T})$ total computational complexity, where $\omega$ is the exponent of matrix multiplication. In the stochastic setting, we show that this translates into a $O(d^3/\epsilon)$ computational complexity for finding an $\epsilon$-suboptimal point, answering an open question by Koren 2013. We first show these new results for the simple case where the feasible set is a Euclidean ball. Then, to move to general convex set, we use a reduction to Online Convex Optimization over the Euclidean ball. Our final algorithm can be viewed as a more efficient version of ONS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google