Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher

要約

タイトル – 適切な教師なしでのプライバシー保存連邦蒸留のための選択的知識共有
要約 –
・フェデレーテッド学習は、ローカルデータを公開せずにプライバシーを保護するために有望であるが、ホワイトボックス攻撃に脆弱であり、異種クライアントに適応するのに苦労している。
・フェデレーテッド蒸留（FD）は、知識蒸留に基づく、教師モデルから生徒モデルに知識を移転させるための効果的な技術を利用し、モデルの異質性に対処して強化されたプライバシー保証を提供するという代替パラダイムである。
・しかし、地域データ分布の変化や、訓練された教師モデルの不在による誤った知識共有が生じ、モデルのパフォーマンスが大幅に低下する。
・この論文ではこの問題に対処するため、FDのための選択的知識共有機構、Selective-FDを提言する。
・Selective-FDには、クライアント側のセレクタとアンサンブル予測から正確で正確な知識を識別するためのサーバー側のセレクタが含まれる。
・理論に裏付けられた実証研究により、本手法がFDフレームワークの一般化能力を向上させ、基本的な方法よりも一貫してパフォーマンスが向上することが示されている。

要約(オリジナル)

While federated learning is promising for privacy-preserving collaborative learning without revealing local data, it remains vulnerable to white-box attacks and struggles to adapt to heterogeneous clients. Federated distillation (FD), built upon knowledge distillation–an effective technique for transferring knowledge from a teacher model to student models–emerges as an alternative paradigm, which provides enhanced privacy guarantees and addresses model heterogeneity. Nevertheless, challenges arise due to variations in local data distributions and the absence of a well-trained teacher model, which leads to misleading and ambiguous knowledge sharing that significantly degrades model performance. To address these issues, this paper proposes a selective knowledge sharing mechanism for FD, termed Selective-FD. It includes client-side selectors and a server-side selector to accurately and precisely identify knowledge from local and ensemble predictions, respectively. Empirical studies, backed by theoretical insights, demonstrate that our approach enhances the generalization capabilities of the FD framework and consistently outperforms baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI