Fair Decentralized Learning

要約

分散学習 (DL) は、生データを共有せずにノードが共同して機械学習モデルをトレーニングできるようにする新しいアプローチです。
ヘルスケアなどの多くのアプリケーション ドメインでは、トレーニング データの特徴空間の異質性が高いため、このアプローチは課題に直面しています。
このような特徴の異質性は、モデルの有用性を低下させ、特にトレーニング データが過小評価されているノードの場合、公平性に悪影響を及ぼします。
このペーパーでは、トレーニング データがいくつかの異なる特徴を示す場合に公平なモデル トレーニングを行うために特別に設計されたクラスタリング ベースの DL アルゴリズムである \textsc{Facade} を紹介します。
\textsc{Facade} の課題は、個々のノードがどのクラスターに属しているかを事前に知る必要なく、ローカル データの特徴の類似性に基づいて、特徴ごとに 1 つずつクラスターにノードを割り当てることです。
\textsc{Facade} (1) 時間の経過とともにノードを適切なクラスターに動的に割り当て、(2) ノードが完全に分散された方法で各クラスターの特殊なモデルを共同でトレーニングできるようにします。
\textsc{Facade} の収束を理論的に証明し、アルゴリズムを実装して、それを 3 つの最先端のベースラインと比較します。
3 つのデータセットに対する私たちの実験結果は、3 つの競合他社すべてと比較して、モデルの精度と公平性の点で私たちのアプローチの優位性を示しています。
最もパフォーマンスの高いベースラインと比較して、CIFAR-10 データセットの \textsc{Facade} は、クラスター サイズが不均衡な場合でも目標精度に達するために通信コストを 32.3\% 削減します。

要約(オリジナル)

Decentralized learning (DL) is an emerging approach that enables nodes to collaboratively train a machine learning model without sharing raw data. In many application domains, such as healthcare, this approach faces challenges due to the high level of heterogeneity in the training data’s feature space. Such feature heterogeneity lowers model utility and negatively impacts fairness, particularly for nodes with under-represented training data. In this paper, we introduce \textsc{Facade}, a clustering-based DL algorithm specifically designed for fair model training when the training data exhibits several distinct features. The challenge of \textsc{Facade} is to assign nodes to clusters, one for each feature, based on the similarity in the features of their local data, without requiring individual nodes to know apriori which cluster they belong to. \textsc{Facade} (1) dynamically assigns nodes to their appropriate clusters over time, and (2) enables nodes to collaboratively train a specialized model for each cluster in a fully decentralized manner. We theoretically prove the convergence of \textsc{Facade}, implement our algorithm, and compare it against three state-of-the-art baselines. Our experimental results on three datasets demonstrate the superiority of our approach in terms of model accuracy and fairness compared to all three competitors. Compared to the best-performing baseline, \textsc{Facade} on the CIFAR-10 dataset also reduces communication costs by 32.3\% to reach a target accuracy when cluster sizes are imbalanced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google