DADA: Dual Averaging with Distance Adaptation

要約

凸最適化問題を解くための新しいユニバーサル勾配法を提案します。
私たちのアルゴリズム — 距離適応型二重平均 (DADA) — は二重平均化の古典的なスキームに基づいており、観測された勾配と反復と開始点の間の距離に基づいてその係数を動的に調整するため、問題固有のパラメーターは必要ありません。
。
DADA は、最小化関数の周りで目的関数の局所的な増大を制限できる場合に限り、広範囲の問題クラスに対して同時に機能する汎用アルゴリズムです。
このような問題クラスの具体例としては、非平滑リプシッツ関数、リプシッツ平滑関数、より古い平滑関数、高次のリプシッツ微分関数、準自己一致関数、$(L_0,L_1)$-平滑関数などがあります。
。
重要なことは、DADA は、反復回数や必要な精度についての事前の知識を必要とせず、領域が無制限の場合でも、制約のない問題と制約のある問題の両方に適用できることです。

要約(オリジナル)

We present a novel universal gradient method for solving convex optimization problems. Our algorithm — Dual Averaging with Distance Adaptation (DADA) — is based on the classical scheme of dual averaging and dynamically adjusts its coefficients based on observed gradients and the distance between iterates and the starting point, eliminating the need for problem-specific parameters. DADA is a universal algorithm that simultaneously works for a broad spectrum of problem classes, provided the local growth of the objective function around its minimizer can be bounded. Particular examples of such problem classes are nonsmooth Lipschitz functions, Lipschitz-smooth functions, H\’older-smooth functions, functions with high-order Lipschitz derivative, quasi-self-concordant functions, and $(L_0,L_1)$-smooth functions. Crucially, DADA is applicable to both unconstrained and constrained problems, even when the domain is unbounded, without requiring prior knowledge of the number of iterations or desired accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google