Stochastic Constrained DRO with a Complexity Independent of Sample Size

要約

分布的にロバストな最適化 (DRO) は、トレーニング セットとテスト セット間の分布の変化に対してロバストなモデルをトレーニングする一般的な方法として、近年大きな注目を集めています。
この論文では、カルバック ライブラー発散制約付き DRO 問題を解決するために、非凸損失と凸損失の両方に適用する確率論的アルゴリズムを提案および分析します。
この問題を解決する既存の方法と比較して、当社の確率的アルゴリズムは、サンプル サイズに関係なく、より優れているとは言わないまでも競争力のある複雑さを享受するだけでなく、反復ごとに一定のバッチ サイズを必要とするだけであり、これは広範なアプリケーションにとってより実用的です。
非凸損失の $\epsilon$ 定常解を見つけるためのほぼ最適な複雑さの限界と、凸損失の $\epsilon$ 最適解を見つけるための最適な複雑さを確立します。
実証研究により、非凸および凸の制約付き DRO 問題を解決するための提案されたアルゴリズムの有効性が実証されています。

要約(オリジナル)

Distributionally Robust Optimization (DRO), as a popular method to train robust models against distribution shift between training and test sets, has received tremendous attention in recent years. In this paper, we propose and analyze stochastic algorithms that apply to both non-convex and convex losses for solving Kullback Leibler divergence constrained DRO problem. Compared with existing methods solving this problem, our stochastic algorithms not only enjoy competitive if not better complexity independent of sample size but also just require a constant batch size at every iteration, which is more practical for broad applications. We establish a nearly optimal complexity bound for finding an $\epsilon$ stationary solution for non-convex losses and an optimal complexity for finding an $\epsilon$ optimal solution for convex losses. Empirical studies demonstrate the effectiveness of the proposed algorithms for solving non-convex and convex constrained DRO problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google