Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer

要約

データ プライバシーとロングテール配信は、現実世界の多くのタスクにおいて例外ではなく標準となっています。
この論文では、各クライアントがローカルに異種データセットを保持する連合ロングテール学習 (Fed-LT) タスクを調査します。
データセットをグローバルに集約できる場合、それらは共にロングテール分布を示します。
このような設定では、(a) プライバシー制約の下でグローバルなロングテール分布を特徴付けること、および (b) ヘッドに対処するためにローカル学習戦略を調整することにおける課題のため、既存のフェデレーテッド最適化および/または集中型ロングテール学習手法はほとんど適用できません。
-テールのアンバランス。
これに応えて、グローバルなフィードバックに基づいて閉ループ方式でクライアントの勾配を再重み付けする自己調整勾配バランサー (SGB) モジュールで構成される $\texttt{Fed-GraB}$ と呼ばれる方法を提案します。
Direct Prior Analyzer (DPA) モジュールによって評価されたロングテール分布。
$\texttt{Fed-GraB}$ を使用すると、クライアントは、モデルのトレーニング プロセス中にデータの異質性によって引き起こされる分布ドリフトを効果的に軽減し、多数派のクラスのパフォーマンスを維持しながら、少数派のクラスでより優れたパフォーマンスを備えたグローバル モデルを取得できます。
広範な実験により、$\texttt{Fed-GraB}$ が CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、iNaturalist などの代表的なデータセットで最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Data privacy and long-tailed distribution are the norms rather than the exception in many real-world tasks. This paper investigates a federated long-tailed learning (Fed-LT) task in which each client holds a locally heterogeneous dataset; if the datasets can be globally aggregated, they jointly exhibit a long-tailed distribution. Under such a setting, existing federated optimization and/or centralized long-tailed learning methods hardly apply due to challenges in (a) characterizing the global long-tailed distribution under privacy constraints and (b) adjusting the local learning strategy to cope with the head-tail imbalance. In response, we propose a method termed $\texttt{Fed-GraB}$, comprised of a Self-adjusting Gradient Balancer (SGB) module that re-weights clients’ gradients in a closed-loop manner, based on the feedback of global long-tailed distribution evaluated by a Direct Prior Analyzer (DPA) module. Using $\texttt{Fed-GraB}$, clients can effectively alleviate the distribution drift caused by data heterogeneity during the model training process and obtain a global model with better performance on the minority classes while maintaining the performance of the majority classes. Extensive experiments demonstrate that $\texttt{Fed-GraB}$ achieves state-of-the-art performance on representative datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google