A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning

要約

コミュニケーションの効率化は、フェデレーテッド ラーニング (FL) における大きな課題です。
クライアント/サーバー方式では、サーバーがボトルネックとなり、分散セットアップにより通信が広がりますが、収束が遅くなるため必ずしも減少するわけではありません。
我々は、各クライアントが機能の小さなサブセットを保持している場合に、クライアント/サーバー通信とクライアント/クライアント通信の両方を活用する、半分散型垂直連合学習のための通信効率の高いアルゴリズムであるマルチトークン座標降下法 (MTCD) を提案します。
私たちのマルチトークン手法は、並列マルコフチェーン (ブロック) 座標降下アルゴリズムとみなすことができ、クライアント/サーバーおよび分散セットアップを特殊なケースとして包含します。
トークンがクライアントの互いに素なサブセット上をローミングする場合、非凸の目的の場合は $\mathcal{O}(1/T)$ の収束率が得られ、オーバーラップする可能性のあるサブセット上をトークンがローミングする場合の凸の目的の場合は $\mathcal{O}(1/T)$ の収束率が得られます。
数値結果は、MTCD が最先端の通信効率を向上させ、調整可能な量の並列通信を可能にすることを示しています。

要約(オリジナル)

Communication efficiency is a major challenge in federated learning (FL). In client-server schemes, the server constitutes a bottleneck, and while decentralized setups spread communications, they do not necessarily reduce them due to slower convergence. We propose Multi-Token Coordinate Descent (MTCD), a communication-efficient algorithm for semi-decentralized vertical federated learning, exploiting both client-server and client-client communications when each client holds a small subset of features. Our multi-token method can be seen as a parallel Markov chain (block) coordinate descent algorithm and it subsumes the client-server and decentralized setups as special cases. We obtain a convergence rate of $\mathcal{O}(1/T)$ for nonconvex objectives when tokens roam over disjoint subsets of clients and for convex objectives when they roam over possibly overlapping subsets. Numerical results show that MTCD improves the state-of-the-art communication efficiency and allows for a tunable amount of parallel communications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google