One-shot Federated Learning via Synthetic Distiller-Distillate Communication

要約

ワンショット フェデレーテッド ラーニング (FL) は、1 回の通信で機械学習モデルの共同トレーニングを促進する強力なテクノロジーです。
反復型 FL と比較して通信効率とプライバシー保護の点で優れている一方で、ワンショット FL はモデルのパフォーマンスを損なうことがよくあります。
これまでの研究は主に、データフリーの知識の蒸留を採用してデータ ジェネレーターとアンサンブル モデルを最適化し、ローカルの知識をサーバー モデルに適切に集約することに焦点を当てていました。
ただし、これらの方法は通常、データの異種性に問題があり、ローカル データの分布に一貫性がないため、教師が誤解を招く知識を提供する可能性があります。
さらに、複雑なデータセットでは、固有の 2 段階の情報損失によりスケーラビリティの問題が発生する可能性があります。1 番目はローカル トレーニング中 (データからモデルへ)、2 番目は知識をサーバー モデルに転送するとき (モデルから反転データへ) です。
本稿では、これらの課題に対処するために設計された、新しくて実用的なワンショット FL フレームワークである FedSD2C を提案します。
FedSD2C は、情報損失を削減するためにローカル データから有益な蒸留物を直接合成する蒸留器を導入し、データの異質性に対処するために一貫性のないローカル モデルの代わりに合成蒸留物を共有することを提案しています。
私たちの経験的結果は、FedSD2C が、より複雑で実際のデータセットを使用する場合に他のワンショット FL メソッドよりも常に優れたパフォーマンスを示し、最良のベースラインの最大 2.6 倍のパフォーマンスを達成することを示しています。
コード: https://github.com/Carkham/FedSD2C

要約(オリジナル)

One-shot Federated learning (FL) is a powerful technology facilitating collaborative training of machine learning models in a single round of communication. While its superiority lies in communication efficiency and privacy preservation compared to iterative FL, one-shot FL often compromises model performance. Prior research has primarily focused on employing data-free knowledge distillation to optimize data generators and ensemble models for better aggregating local knowledge into the server model. However, these methods typically struggle with data heterogeneity, where inconsistent local data distributions can cause teachers to provide misleading knowledge. Additionally, they may encounter scalability issues with complex datasets due to inherent two-step information loss: first, during local training (from data to model), and second, when transferring knowledge to the server model (from model to inversed data). In this paper, we propose FedSD2C, a novel and practical one-shot FL framework designed to address these challenges. FedSD2C introduces a distiller to synthesize informative distillates directly from local data to reduce information loss and proposes sharing synthetic distillates instead of inconsistent local models to tackle data heterogeneity. Our empirical results demonstrate that FedSD2C consistently outperforms other one-shot FL methods with more complex and real datasets, achieving up to 2.6 the performance of the best baseline. Code: https://github.com/Carkham/FedSD2C

arxiv情報

提供元, 利用サービス

arxiv.jp, Google