Fractional Order Distributed Optimization

要約

分散最適化は、連合学習のような最新の機械学習アプリケーションの基本であるが、既存の手法は、しばしば条件の悪い問題に苦戦し、安定性と速度のトレードオフに直面する。我々は、分数次分散最適化(FrODO)を導入する。これは、理論的に根拠のあるフレームワークであり、分数次の記憶項を組み込むことで、困難な最適化ランドスケープにおける収束特性を向上させる。我々のアプローチは、任意の強結合ネットワークに対して証明可能な線形収束を達成する。実証的な検証を通して、我々の結果は、安定性と理論的な保証を維持しながら、FrODOが非条件付き問題においてベースラインに対して最大4倍の収束速度と、連合ニューラルネットワークの学習において2-3倍の速度向上を達成することを示唆している。

要約(オリジナル)

Distributed optimization is fundamental to modern machine learning applications like federated learning, but existing methods often struggle with ill-conditioned problems and face stability-versus-speed tradeoffs. We introduce fractional order distributed optimization (FrODO); a theoretically-grounded framework that incorporates fractional-order memory terms to enhance convergence properties in challenging optimization landscapes. Our approach achieves provable linear convergence for any strongly connected network. Through empirical validation, our results suggest that FrODO achieves up to 4 times faster convergence versus baselines on ill-conditioned problems and 2-3 times speedup in federated neural network training, while maintaining stability and theoretical guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL