Hierarchical Knowledge Structuring for Effective Federated Learning in Heterogeneous Environments

要約

連携学習は、個々のデータのプライバシーを維持しながら、分散したエンティティ間で協調的なモデル学習を可能にする。連携学習における重要な課題は、ローカルクライアントのためのモデルのパーソナライゼーションと、グローバルモデルのための汎化のバランスをとることである。最近の取り組みでは、ロジットベースの知識集約と蒸留を活用して、これらの問題を克服している。しかし、多様なクライアントにまたがるデータの非IID的性質と、クライアントのデータ分布の不均衡のため、ロジットを直接集約すると、しばしば個々のクライアントに適用できない偏った知識が生成され、ローカル学習の収束を妨げる。この問題を解決するために、我々は、サンプルごとの個別化された洞察からクラスごとのグローバル化された知識までのロジットを表現するために、サンプルロジットを多粒度コードブックに定式化する階層的知識構造化（HKS）フレームワークを提案する。教師なしボトムアップクラスタリング法は、グローバルサーバーがローカルクライアントに多粒度応答を提供することを可能にするために活用される。これらの応答により、ローカルな訓練は教師あり学習の目的とグローバルな汎化の制約を統合することができ、その結果、より頑健な表現が得られ、後続の訓練ラウンドにおける知識共有が改善される。提案するフレームワークの有効性は、様々なベンチマークとモデルアーキテクチャで検証されている。

要約(オリジナル)

Federated learning enables collaborative model training across distributed entities while maintaining individual data privacy. A key challenge in federated learning is balancing the personalization of models for local clients with generalization for the global model. Recent efforts leverage logit-based knowledge aggregation and distillation to overcome these issues. However, due to the non-IID nature of data across diverse clients and the imbalance in the client’s data distribution, directly aggregating the logits often produces biased knowledge that fails to apply to individual clients and obstructs the convergence of local training. To solve this issue, we propose a Hierarchical Knowledge Structuring (HKS) framework that formulates sample logits into a multi-granularity codebook to represent logits from personalized per-sample insights to globalized per-class knowledge. The unsupervised bottom-up clustering method is leveraged to enable the global server to provide multi-granularity responses to local clients. These responses allow local training to integrate supervised learning objectives with global generalization constraints, which results in more robust representations and improved knowledge sharing in subsequent training rounds. The proposed framework’s effectiveness is validated across various benchmarks and model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL