Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data

要約

主成分分析や低ランク行列の完成などの多くの機械学習タスクでは、多様な最適化問題が発生します。
集中設定における多様体最適化のアルゴリズムの設計と分析を研究する研究は数多くありますが、現在、連合設定に取り組んでいる研究はほとんどありません。
この論文では、異種クライアント データの設定におけるコンパクトで滑らかな部分多様体上の非凸フェデレーテッド ラーニングを検討します。
確率的リーマン勾配と多様体射影演算子を利用して計算効率を向上させ、ローカル更新を使用して通信効率を向上させ、クライアントのドリフトを回避するアルゴリズムを提案します。
理論的には、多様体構造と損失関数の特性を共同利用する新しい解析を使用することで、提案したアルゴリズムが一次最適解の近傍に非線形に収束することを示します。
数値実験により、私たちのアルゴリズムの計算オーバーヘッドと通信オーバーヘッドが既存の方法よりも大幅に小さいことが実証されました。

要約(オリジナル)

Many machine learning tasks, such as principal component analysis and low-rank matrix completion, give rise to manifold optimization problems. Although there is a large body of work studying the design and analysis of algorithms for manifold optimization in the centralized setting, there are currently very few works addressing the federated setting. In this paper, we consider nonconvex federated learning over a compact smooth submanifold in the setting of heterogeneous client data. We propose an algorithm that leverages stochastic Riemannian gradients and a manifold projection operator to improve computational efficiency, uses local updates to improve communication efficiency, and avoids client drift. Theoretically, we show that our proposed algorithm converges sub-linearly to a neighborhood of a first-order optimal solution by using a novel analysis that jointly exploits the manifold structure and properties of the loss functions. Numerical experiments demonstrate that our algorithm has significantly smaller computational and communication overhead than existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google