Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization

要約

閉じられた凸の不確実性セットで、ペナルティ化された分配的に堅牢な最適化（DRO）の問題を検討します。これは、$ f $ -droとspectral/$ l $ -RISKの最小化を使用した学習を含む設定です。
環状およ​​びランダム化された成分と慎重に正則化されたプライマルアップデートを組み合わせて、二重分散削減を達成する確率的原始アルゴリズムであるDragoを提示します。
その設計により、Dragoは、原始および二重条件数に細粒の依存性を備えた、強く凸型の凹面DROの問題に対して最先端の線形収束速度を享受しています。
理論的な結果は、回帰および分類タスクに関する数値ベンチマークによってサポートされています。

要約(オリジナル)

We consider the penalized distributionally robust optimization (DRO) problem with a closed, convex uncertainty set, a setting that encompasses learning using $f$-DRO and spectral/$L$-risk minimization. We present Drago, a stochastic primal-dual algorithm that combines cyclic and randomized components with a carefully regularized primal update to achieve dual variance reduction. Owing to its design, Drago enjoys a state-of-the-art linear convergence rate on strongly convex-strongly concave DRO problems with a fine-grained dependency on primal and dual condition numbers. Theoretical results are supported by numerical benchmarks on regression and classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google