Stochastic interior-point methods for smooth conic optimization with applications

要約

円錐最適化は、多くの機械学習（ML）の問題で重要な役割を果たします。
ただし、一般的なコニック最適化の確率的アルゴリズムが未発達のままであるため、大規模なデータセットでのコニック制約ML問題の実用的なアルゴリズムは、特定のユースケースに限定されることがよくあります。
このギャップを埋めるために、一般的なコニック最適化のための確率的インテリアポイント法（SIPM）フレームワークを導入し、4つの新しいSIPMバリアントを明確な確率勾配推定器を活用します。
軽度の仮定の下で、提案されたSIPMの反復複雑さを確立します。これは、ポリロガリズム因子まで、確率的な制約のない最適化で最もよく知られている結果と一致します。
最後に、堅牢な線形回帰、マルチタスク関係学習、およびクラスタリングデータストリームに関する数値実験は、アプローチの有効性と効率性を示しています。

要約(オリジナル)

Conic optimization plays a crucial role in many machine learning (ML) problems. However, practical algorithms for conic constrained ML problems with large datasets are often limited to specific use cases, as stochastic algorithms for general conic optimization remain underdeveloped. To fill this gap, we introduce a stochastic interior-point method (SIPM) framework for general conic optimization, along with four novel SIPM variants leveraging distinct stochastic gradient estimators. Under mild assumptions, we establish the iteration complexity of our proposed SIPMs, which, up to a polylogarithmic factor, match the best-known results in stochastic unconstrained optimization. Finally, our numerical experiments on robust linear regression, multi-task relationship learning, and clustering data streams demonstrate the effectiveness and efficiency of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google