Moreau Envelope ADMM for Decentralized Weakly Convex Optimization

要約

この論文では、分散最適化のための乗算器の交互方向法 (ADMM) の近似変形を提案します。
ADMM アルゴリズムの現在のバージョンは、多くの凸および非凸の最適化問題に対して最適に近い解を生成する有望な数値結果を提供しますが、弱凸関数や局所的に非滑らかな関数の定常点に収束できるかどうかは依然として不明です。
モロー包絡線関数を使用した解析を通じて、MADM が穏やかな条件下で確かに定常点に収束できることを示しました。
私たちの分析には、モロー包絡線関数の勾配を近似関数に関連付けることによって、二重変数更新ステップにおける変化量の境界を計算することも含まれています。
さらに、数値実験の結果は、私たちの方法が広く使用されているアプローチよりも高速で堅牢であることを示しています。

要約(オリジナル)

This paper proposes a proximal variant of the alternating direction method of multipliers (ADMM) for distributed optimization. Although the current versions of ADMM algorithm provide promising numerical results in producing solutions that are close to optimal for many convex and non-convex optimization problems, it remains unclear if they can converge to a stationary point for weakly convex and locally non-smooth functions. Through our analysis using the Moreau envelope function, we demonstrate that MADM can indeed converge to a stationary point under mild conditions. Our analysis also includes computing the bounds on the amount of change in the dual variable update step by relating the gradient of the Moreau envelope function to the proximal function. Furthermore, the results of our numerical experiments indicate that our method is faster and more robust than widely-used approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google