Learning (With) Distributed Optimization

要約

この論文では、1960 年代に Dantzig、Wolfe、Benders によって開拓された初期の双対性に基づく手法から、拡張ラグランジュ交互方向不正確ニュートン (ALADIN) アルゴリズムの出現までの分散最適化手法の発展をたどり、分散最適化手法の歴史的進歩の概要を説明します。
凸問題のラグランジュ緩和と分解戦略に当初焦点を当てたことが、乗算器の交互方向法 (ADMM) のような手法の改良につながりました。
2000 年代後半に分散最適化、特に機械学習とイメージングに対する関心が再び高まったことで、ADMM の実際的な有効性とその統合の可能性が実証されました。
この概要では、近位中心法の出現と、さまざまな領域でのその応用についても強調しています。
さらに、この論文は、補助変数を導入せずに非凸シナリオの収束保証を提供し、従来の拡張手法と区別する ALADIN の特徴的な機能を強調しています。
本質的に、この研究は分散最適化の歴史的な軌跡を要約しており、非凸最適化の課題に対処する際の ALADIN の有望な見通しを強調しています。

要約(オリジナル)

This paper provides an overview of the historical progression of distributed optimization techniques, tracing their development from early duality-based methods pioneered by Dantzig, Wolfe, and Benders in the 1960s to the emergence of the Augmented Lagrangian Alternating Direction Inexact Newton (ALADIN) algorithm. The initial focus on Lagrangian relaxation for convex problems and decomposition strategies led to the refinement of methods like the Alternating Direction Method of Multipliers (ADMM). The resurgence of interest in distributed optimization in the late 2000s, particularly in machine learning and imaging, demonstrated ADMM’s practical efficacy and its unifying potential. This overview also highlights the emergence of the proximal center method and its applications in diverse domains. Furthermore, the paper underscores the distinctive features of ALADIN, which offers convergence guarantees for non-convex scenarios without introducing auxiliary variables, differentiating it from traditional augmentation techniques. In essence, this work encapsulates the historical trajectory of distributed optimization and underscores the promising prospects of ALADIN in addressing non-convex optimization challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google