Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method

要約

準自己一致滑らかなコンポーネントを使用した複合凸最適化問題を研究します。
この問題クラスは、古典的な自己一致関数とリプシッツ連続ヘッシアンを使用した関数の間を自然に補間します。
以前は、この問題クラスの最適な複雑さの限界は、信頼領域スキームとボール最小化オラクルの実装に関連付けられていました。
この論文では、準自己一致関数を最小化するために、代わりに勾配正則化を伴う基本的なニュートン法を使用できることを示します。
制約なしの最小化では、各ステップで単純な行列反転操作 (線形システムを解く) のみが必要になります。
私たちは、このアルゴリズムの高速グローバル線形レートを証明し、信頼領域スキームの複雑さの限界に一致しますが、私たちの方法は実装が特に簡単です。
次に、デュアル ニュートン法を導入し、それに基づいて、この問題クラスに対応する加速ニュートン スキームを開発します。これにより、基本的な法の複雑さの要素がさらに改善されます。
私たちの結果の直接の結果として、ターゲットの強いまたは均一な凸性についての追加の仮定を必要とせずに、ロジスティック回帰、ソフトマキシマム、行列スケーリングなどのいくつかの実際的な問題に適用されるニュートン法の単純な変形の高速グローバル線形率を確立します。
客観的。

要約(オリジナル)

We study the composite convex optimization problems with a Quasi-Self-Concordant smooth component. This problem class naturally interpolates between classic Self-Concordant functions and functions with Lipschitz continuous Hessian. Previously, the best complexity bounds for this problem class were associated with trust-region schemes and implementations of a ball-minimization oracle. In this paper, we show that for minimizing Quasi-Self-Concordant functions we can use instead the basic Newton Method with Gradient Regularization. For unconstrained minimization, it only involves a simple matrix inversion operation (solving a linear system) at each step. We prove a fast global linear rate for this algorithm, matching the complexity bound of the trust-region scheme, while our method remains especially simple to implement. Then, we introduce the Dual Newton Method, and based on it, develop the corresponding Accelerated Newton Scheme for this problem class, which further improves the complexity factor of the basic method. As a direct consequence of our results, we establish fast global linear rates of simple variants of the Newton Method applied to several practical problems, including Logistic Regression, Soft Maximum, and Matrix Scaling, without requiring additional assumptions on strong or uniform convexity for the target objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google