Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher

要約

【タイトル】
アップルシード: 効果的なディープラーニングモデルの共同学習のためのプライバシー保護フレームワーク

【要約】
-フェデレーテッド学習は、ローカルデータを明らかにせずにプライバシー保護協調学習を可能にする有望な技術であるが、ホワイトボックス攻撃や異種クライアントへの適応の障害も残っている。
-フェデレーテッド蒸留（FD）は、効果的な知識転移技術である知識蒸留に基づいて構築された代替パラダイムであり、プライバシーの保証を向上させ、モデルの異質性に対応している。
-ただし、ローカルデータの分布の変化や、訓練された教師モデルの欠如などの課題が生じ、誤った知識共有が生じることがある。
-本研究では、FDのための選択的な知識共有メカニズムを提案し、Selective-FDと呼ぶ。
-クライアント側のセレクタとサーバー側のセレクタを含み、それぞれから正確に知識を識別することで、FDフレームワークの一般化能力を向上させることができる。
-理論的な洞察に裏付けされた実証的な研究により、我々のアプローチがFDフレームワークの一般化能力を向上させ、ベースライン法よりも堅調な性能を発揮することが示された。
-本研究は、プライバシー保護協調学習における効果的な知識転移の有望な方向性を提供する。

要約(オリジナル)

While federated learning is promising for privacy-preserving collaborative learning without revealing local data, it remains vulnerable to white-box attacks and struggles to adapt to heterogeneous clients. Federated distillation (FD), built upon knowledge distillation–an effective technique for transferring knowledge from a teacher model to student models–emerges as an alternative paradigm, which provides enhanced privacy guarantees and addresses model heterogeneity. Nevertheless, challenges arise due to variations in local data distributions and the absence of a well-trained teacher model, which leads to misleading and ambiguous knowledge sharing that significantly degrades model performance. To address these issues, this paper proposes a selective knowledge sharing mechanism for FD, termed Selective-FD. It includes client-side selectors and a server-side selector to accurately and precisely identify knowledge from local and ensemble predictions, respectively. Empirical studies, backed by theoretical insights, demonstrate that our approach enhances the generalization capabilities of the FD framework and consistently outperforms baseline methods. This study presents a promising direction for effective knowledge transfer in privacy-preserving collaborative learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI