Breaking the Complexity Barrier in Compositional Minimax Optimization

要約

構成ミニマックス最適化は、強化学習のための分布的に堅牢なトレーニングやポリシー評価を含む、機械学習全体にわたる極めて重要であるにもかかわらず十分に検討されていない課題です。
現在の技術は最適とは言えない複雑さを示しているか、大きなバッチ サイズに大きく依存しています。
この論文は、$\epsilon$ 精度の解を見つけるために最適なサンプル複雑さ $O(\kappa^3/\epsilon^3)$ を達成する Nested STOchastic Recursive Momentum (NSTORM) を提案します。
ただし、NSTORM では必要な学習率が低いため、適用性が制限される可能性があります。
そこで、適応学習率を備えた ADAptive NSTORM (ADA-NSTORM) を導入し、実験でより高い効果を実証しながら、同じサンプルの複雑さを達成できることを証明しました。
私たちの方法は、大規模なバッチを必要とせずにミニマックス最適化の下限に一致しており、広範な実験を通じて検証されています。
この研究により、分布の堅牢性とポリシー評価にとって重要な機能である組成ミニマックス最適化が大幅に進歩します。

要約(オリジナル)

Compositional minimax optimization is a pivotal yet under-explored challenge across machine learning, including distributionally robust training and policy evaluation for reinforcement learning. Current techniques exhibit suboptimal complexity or rely heavily on large batch sizes. This paper proposes Nested STOchastic Recursive Momentum (NSTORM), attaining the optimal sample complexity of $O(\kappa^3/\epsilon^3)$ for finding an $\epsilon$-accurate solution. However, NSTORM requires low learning rates, potentially limiting applicability. Thus we introduce ADAptive NSTORM (ADA-NSTORM) with adaptive learning rates, proving it achieves the same sample complexity while experiments demonstrate greater effectiveness. Our methods match lower bounds for minimax optimization without large batch requirements, validated through extensive experiments. This work significantly advances compositional minimax optimization, a crucial capability for distributional robustness and policy evaluation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google