Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints

要約

複数の機能的不平等制約による制約のある最適化には、機械学習に重要な用途があります。
このペーパーでは、目的関数と制約関数の両方が弱く凸状であるこのような問題の重要なサブセットを調べます。
既存の方法は、ゆっくりと収束率や二重ループアルゴリズム設計への依存など、制限に直面することがよくあります。
これらの課題を克服するために、新しいシングルループベースの確率的アルゴリズムを紹介します。
古典的な正確なペナルティ方法に従って、私たちのアプローチは{\ bfヒンジベースのペナルティ}を採用しています。これにより、一定のペナルティパラメーターの使用が可能になり、おおよそのKarush-Kuhn-Tucker（KKT）ソリューションを見つけるための{\ BF最先端の複雑さを実現できます。
さらに、アルゴリズムを拡張して、人工知能アプリケーションで一般的な有限サム結合組成目標に対処し、既存のアプローチに対する複雑さの改善を確立します。
最後に、受信機の動作特性（ROC）の公平性の制約と非忘れられない制約を伴う継続的な学習による公正な学習に関する実験を通じて、私たちの方法を検証します。

要約(オリジナル)

Constrained optimization with multiple functional inequality constraints has significant applications in machine learning. This paper examines a crucial subset of such problems where both the objective and constraint functions are weakly convex. Existing methods often face limitations, including slow convergence rates or reliance on double-loop algorithmic designs. To overcome these challenges, we introduce a novel single-loop penalty-based stochastic algorithm. Following the classical exact penalty method, our approach employs a {\bf hinge-based penalty}, which permits the use of a constant penalty parameter, enabling us to achieve a {\bf state-of-the-art complexity} for finding an approximate Karush-Kuhn-Tucker (KKT) solution. We further extend our algorithm to address finite-sum coupled compositional objectives, which are prevalent in artificial intelligence applications, establishing improved complexity over existing approaches. Finally, we validate our method through experiments on fair learning with receiver operating characteristic (ROC) fairness constraints and continual learning with non-forgetting constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google