Optimal Transport-based Domain Alignment as a Preprocessing Step for Federated Learning

要約

Federated Learning（FL）は、中央サーバーとローカルデータの共有を回避する機械学習のサブフィールドであり、プライバシーとスケーラビリティを向上させることができます。
データを統合できないと、データセットの不均衡と呼ばれる一意の問題につながります。ネットワーク内のエージェントは、予測を学ぼうとしているラベルの平等な表現を持っていません。
FLでは、ローカルで訓練されたモデルを不均衡なデータセットと融合させると、グローバルモデルの凝集のパフォーマンスが低下し、更新されたローカルモデルの品質と分散エージェントの決定の精度が低下する可能性があります。
この作業では、エッジデバイスに沿ったデータの分布の不一致を最小化することにより、データセットを整列させる最適な輸送ベースの前処理アルゴリズムを導入します。
チャネルごとの平均を計算するときに、Wasserstein Barycentersを活用することでこれを達成します。
これらのバリセントターは、ターゲットRGBスペースを集合的に生成する信頼できる中央サーバーで収集されます。
このターゲット空間にデータセットを投影することにより、グローバルレベルでの分布の矛盾を最小限に抑え、サンプル全体の分散の最小化により学習プロセスを促進します。
CIFAR-10データセットを介して提案されたアプローチの機能を実証します。ここでは、より少ない通信ラウンドでより高い程度の一般化に到達する能力を示しています。

要約(オリジナル)

Federated learning (FL) is a subfield of machine learning that avoids sharing local data with a central server, which can enhance privacy and scalability. The inability to consolidate data leads to a unique problem called dataset imbalance, where agents in a network do not have equal representation of the labels one is trying to learn to predict. In FL, fusing locally-trained models with unbalanced datasets may deteriorate the performance of global model aggregation, and reduce the quality of updated local models and the accuracy of the distributed agents’ decisions. In this work, we introduce an Optimal Transport-based preprocessing algorithm that aligns the datasets by minimizing the distributional discrepancy of data along the edge devices. We accomplish this by leveraging Wasserstein barycenters when computing channel-wise averages. These barycenters are collected in a trusted central server where they collectively generate a target RGB space. By projecting our dataset towards this target space, we minimize the distributional discrepancy on a global level, which facilitates the learning process due to a minimization of variance across the samples. We demonstrate the capabilities of the proposed approach over the CIFAR-10 dataset, where we show its capability of reaching higher degrees of generalization in fewer communication rounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google