Federated Frank-Wolfe Algorithm

要約

フェデレーテッド ラーニング (FL) は、プライバシーを保護した共同学習システムを構築するために近年大きな注目を集めています。
ただし、制約付き機械学習問題の FL アルゴリズムは、特に射影ステップにコストがかかる場合には依然として制限されています。
この目的を達成するために、我々は Federated Frank-Wolfe アルゴリズム (FedFW) を提案します。
FedFW は、データのプライバシー、低い反復あたりのコスト、およびまばらな信号の通信を特徴としています。
決定論的設定では、FedFW は、平滑目標と凸目標の場合は $O(\varepsilon^{-2})$ 回の反復内で、$O(\varepsilon^{-3})$ 回の反復内で $\varepsilon$ 準最適解を達成します。
滑らかだが凸面ではない対物レンズ。
さらに、FedFW の確率論的バリアントを提示し、凸設定で $O(\varepsilon^{-3})$ 回の反復内で解を見つけることを示します。
いくつかの機械学習タスクにおける FedFW のパフォーマンスを実証します。

要約(オリジナル)

Federated learning (FL) has gained a lot of attention in recent years for building privacy-preserving collaborative learning systems. However, FL algorithms for constrained machine learning problems are still limited, particularly when the projection step is costly. To this end, we propose a Federated Frank-Wolfe Algorithm (FedFW). FedFW features data privacy, low per-iteration cost, and communication of sparse signals. In the deterministic setting, FedFW achieves an $\varepsilon$-suboptimal solution within $O(\varepsilon^{-2})$ iterations for smooth and convex objectives, and $O(\varepsilon^{-3})$ iterations for smooth but non-convex objectives. Furthermore, we present a stochastic variant of FedFW and show that it finds a solution within $O(\varepsilon^{-3})$ iterations in the convex setting. We demonstrate the empirical performance of FedFW on several machine learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google