A General Continuous-Time Formulation of Stochastic ADMM and Its Variants

要約

Alternating Direction Method of Multiplier (ADMM) の確率的バージョンとそのバリアントは、現代の大規模な機械学習の問題の多くで重要な役割を果たします。
この研究では、一般化確率的 ADMM と呼ばれる統一アルゴリズム フレームワークを導入し、その連続時間分析を調査します。
一般化されたフレームワークには、標準、線形化、勾配ベースの ADMM など、多くの確率的 ADMM バリアントが広く含まれています。
私たちの連続時間解析は、確率的 ADMM とそのバリアントに関する新たな洞察を提供し、適切なスケーリングの下で​​は、確率的 ADMM の軌跡がノイズの小さい確率的微分方程式の解に弱く収束することを厳密に証明します。
私たちの分析は、なぜ緩和パラメーターを 0 から 2 の間で選択する必要があるのか​​についての理論的な説明も提供します。

要約(オリジナル)

Stochastic versions of the alternating direction method of multiplier (ADMM) and its variants play a key role in many modern large-scale machine learning problems. In this work, we introduce a unified algorithmic framework called generalized stochastic ADMM and investigate their continuous-time analysis. The generalized framework widely includes many stochastic ADMM variants such as standard, linearized and gradient-based ADMM. Our continuous-time analysis provides us with new insights into stochastic ADMM and variants, and we rigorously prove that under some proper scaling, the trajectory of stochastic ADMM weakly converges to the solution of a stochastic differential equation with small noise. Our analysis also provides a theoretical explanation of why the relaxation parameter should be chosen between 0 and 2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google