Equitable Federated Learning with Activation Clustering

要約

フェデレーテッド・ラーニングは、多様なクライアント間のコラボレーションを取り入れ、データのローカリティを促進し、プライバシーを保証する、著名な分散学習パラダイムである。これらのクライアントは、データ生成のプロセスにおいて、それぞれの技術的、文化的、その他のバイアスを有している。しかし、現在の標準は、この偏りや異質性を無視することが多く、特定のグループに対する偏りを緩和するどころか、永続させている。この懸念に応えるため、私たちは公平なクラスタリングに基づくフレームワークを提案する。このフレームワークでは、クライアントが互いにどの程度似ているかに基づいて分類／クラスタ化される。我々は、活性化ベクトルを用いて類似度行列を構築する独自の方法を提案する。さらに、各クラスタが等しく重要視されるように、クライアントの重み付けメカニズムを提案し、$O(1/sqrt{K})$収束率を確立して、$epsilon-$定常解に到達する。提案する戦略の有効性を一般的なベースラインに対して評価し、様々なクライアントクラスタ間に存在する偏りを減少させ、結果として特定のグループに対するアルゴリズムの偏りを改善するという点で、その有効性を実証する。

要約(オリジナル)

Federated learning is a prominent distributed learning paradigm that incorporates collaboration among diverse clients, promotes data locality, and thus ensures privacy. These clients have their own technological, cultural, and other biases in the process of data generation. However, the present standard often ignores this bias/heterogeneity, perpetuating bias against certain groups rather than mitigating it. In response to this concern, we propose an equitable clustering-based framework where the clients are categorized/clustered based on how similar they are to each other. We propose a unique way to construct the similarity matrix that uses activation vectors. Furthermore, we propose a client weighing mechanism to ensure that each cluster receives equal importance and establish $O(1/\sqrt{K})$ rate of convergence to reach an $\epsilon-$stationary solution. We assess the effectiveness of our proposed strategy against common baselines, demonstrating its efficacy in terms of reducing the bias existing amongst various client clusters and consequently ameliorating algorithmic bias against specific groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL