Stochastic interior-point methods for smooth conic optimization with applications

要約

円錐最適化は、多くの機械学習 (ML) 問題において重要な役割を果たします。
ただし、一般的な円錐最適化のための確率的アルゴリズムが未開発のままであるため、大規模なデータセットを使用した円錐制約付き ML 問題の実際的なアルゴリズムは特定のユースケースに限定されることがよくあります。
このギャップを埋めるために、一般的な円錐最適化のための確率的内点法 (SIPM) フレームワークと、個別の確率的勾配推定器を活用した 4 つの新しい SIPM バリアントを導入します。
穏やかな仮定の下で、提案する SIPM のグローバル収束率を確立します。これは、対数係数まで、確率的制約なし最適化における最もよく知られている収束率と一致します。
最後に、ロバストな線形回帰、マルチタスク関係学習、データ ストリームのクラスタリングに関する数値実験により、アプローチの有効性と効率性が実証されています。

要約(オリジナル)

Conic optimization plays a crucial role in many machine learning (ML) problems. However, practical algorithms for conic constrained ML problems with large datasets are often limited to specific use cases, as stochastic algorithms for general conic optimization remain underdeveloped. To fill this gap, we introduce a stochastic interior-point method (SIPM) framework for general conic optimization, along with four novel SIPM variants leveraging distinct stochastic gradient estimators. Under mild assumptions, we establish the global convergence rates of our proposed SIPMs, which, up to a logarithmic factor, match the best-known rates in stochastic unconstrained optimization. Finally, our numerical experiments on robust linear regression, multi-task relationship learning, and clustering data streams demonstrate the effectiveness and efficiency of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google