DELTA: Diverse Client Sampling for Fasting Federated Learning

要約

Federated Learning (FL) では、コミュニケーションの負担を効率的に軽減するために、部分的なクライアントの参加が広く採用されています。
ただし、クライアントのサンプリング スキームが不適切であると、代表的ではないサブセットが選択される可能性があり、その結果、モデルの更新に大きな差異が生じ、収束が遅くなる可能性があります。
既存のサンプリング方法にはバイアスがかかっているか、収束を速くするためにさらに最適化することができます。このホワイト ペーパーでは、これらの問題を軽減するために設計された不バイアス サンプリング スキームである DELTA を紹介します。
DELTA は、クライアントの多様性と局所的な差異の影響を特徴付け、グローバル モデルの更新のための貴重な情報を含む代表的なクライアントをサンプリングします。
さらに、DELTA は、クライアントの部分的な参加によって生じる分散を最小限に抑え、収束の点で他の不偏サンプリング スキームよりも優れていることが証明された最適な不偏サンプリング スキームです。
さらに、完全なクライアントの勾配依存性に対処するために、利用可能なクライアントの情報に応じて DELTA の実用的なバージョンを提供し、その収束も分析します。
私たちの結果は、合成データセットと現実世界のデータセットの両方での実験を通じて検証されています。

要約(オリジナル)

Partial client participation has been widely adopted in Federated Learning (FL) to reduce the communication burden efficiently. However, an inadequate client sampling scheme can lead to the selection of unrepresentative subsets, resulting in significant variance in model updates and slowed convergence. Existing sampling methods are either biased or can be further optimized for faster convergence.In this paper, we present DELTA, an unbiased sampling scheme designed to alleviate these issues. DELTA characterizes the effects of client diversity and local variance, and samples representative clients with valuable information for global model updates. In addition, DELTA is a proven optimal unbiased sampling scheme that minimizes variance caused by partial client participation and outperforms other unbiased sampling schemes in terms of convergence. Furthermore, to address full-client gradient dependence,we provide a practical version of DELTA depending on the available clients’ information, and also analyze its convergence. Our results are validated through experiments on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google