Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher

要約

タイトル：プライバシーを守りつつ良き先生がいなくても行うフェデレーテッド蒸留のための選択的知識共有

要約：
– フェデレーテッド学習は、ローカルデータを明かさずに協調学習を行うことができるため、プライバシー保護に優れていますが、ホワイトボックス攻撃に対して脆弱であり、異質なクライアントには適応しきれないという課題があります。
– この論文では、知識蒸留という効果的な知識転移技術を基盤としたフェデレーテッド蒸留が、より強力なプライバシー保証を提供し、モデルの異質性に対応する新たなパラダイムとして提案されています。
– しかしながら、ローカルデータ分布の違いや、よく訓練された先生モデルが存在しないことにより、知識共有が誤解を招き、モデル性能が著しく低下する可能性があります。そこで、選択的知識共有メカニズムであるSelective-FDを提案しています。
– Selective-FDは、クライアント側のセレクターとサーバー側のセレクターを用いて、ローカルの予測とアンサンブルの予測から知識を正確かつ精密に抽出し、FDフレームワークの汎化能力を向上させるとともに、ベースライン法よりも一貫して優れた性能を発揮することを理論的にも実証的にも示しています。
– この研究は、プライバシー保護が必要な協調学習における効果的な知識転移の一つの有望な方向性を示しています。

要約(オリジナル)

While federated learning is promising for privacy-preserving collaborative learning without revealing local data, it remains vulnerable to white-box attacks and struggles to adapt to heterogeneous clients. Federated distillation (FD), built upon knowledge distillation–an effective technique for transferring knowledge from a teacher model to student models–emerges as an alternative paradigm, which provides enhanced privacy guarantees and addresses model heterogeneity. Nevertheless, challenges arise due to variations in local data distributions and the absence of a well-trained teacher model, which leads to misleading and ambiguous knowledge sharing that significantly degrades model performance. To address these issues, this paper proposes a selective knowledge sharing mechanism for FD, termed Selective-FD. It includes client-side selectors and a server-side selector to accurately and precisely identify knowledge from local and ensemble predictions, respectively. Empirical studies, backed by theoretical insights, demonstrate that our approach enhances the generalization capabilities of the FD framework and consistently outperforms baseline methods. This study presents a promising direction for effective knowledge transfer in privacy-preserving collaborative learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI