Combating Client Dropout in Federated Learning via Friend Model Substitution

要約

タイトル：Friend Model Substitutionを利用したフェデレーティッドラーニングにおけるクライアントのドロップアウト対策
要約：
– フェデレーティッドラーニング（FL）は、データプライバシーと通信効率の利点で知られる新しい分散機械学習フレームワークである。
– 多くの場合、リソースが制限されて完全なクライアント参加は不可能なため、フェデレーティッドラーニングアルゴリズムが決定するのではなく、ある程度のクライアント参加を選択するアルゴリズムが調査されている。
– この論文は、FLにクライアントドロップアウトが発生し、部分的な参加が発生する場合について、FLアルゴリズムの決定ではなく外部要因による部分的な参加に着目した研究である。
– ドロップアウトクライアントを考慮したFLを、クライアントが（不正確かもしれない）ローカルモデルの更新を送信できるように、より大きなクラスのFL問題の特別な場合として扱っている。
– 収束分析に基づき、FL-FDMSという新しいアルゴリズムを開発した。フレンドモデルサブスティチューションを利用して、クライアントの友人（データ分布が類似しているクライアント）をオンラインで探し、ドロップアウトクライアントの代替品として使用することで、置換エラーを減らし、収束性能を向上させた。
– FL-FDMSには複雑さ削減の仕組みが組み込まれているため、理論的にも実用的にも優れた性能を発揮する。
– MNISTとCIFAR-10での実験により、FL-FDMSがFLにおけるクライアントドロップアウトを処理する際に優れた性能を発揮することが確認された。

要約(オリジナル)

Federated learning (FL) is a new distributed machine learning framework known for its benefits on data privacy and communication efficiency. Since full client participation in many cases is infeasible due to constrained resources, partial participation FL algorithms have been investigated that proactively select/sample a subset of clients, aiming to achieve learning performance close to the full participation case. This paper studies a passive partial client participation scenario that is much less well understood, where partial participation is a result of external events, namely client dropout, rather than a decision of the FL algorithm. We cast FL with client dropout as a special case of a larger class of FL problems where clients can submit substitute (possibly inaccurate) local model updates. Based on our convergence analysis, we develop a new algorithm FL-FDMS that discovers friends of clients (i.e., clients whose data distributions are similar) on-the-fly and uses friends’ local updates as substitutes for the dropout clients, thereby reducing the substitution error and improving the convergence performance. A complexity reduction mechanism is also incorporated into FL-FDMS, making it both theoretically sound and practically useful. Experiments on MNIST and CIFAR-10 confirmed the superior performance of FL-FDMS in handling client dropout in FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI