Knowledge Distillation in Federated Edge Learning: A Survey

要約

モバイルおよびモノのインターネット (IoT) デバイスのインテリジェントなサービスとプライバシー保護に対する需要が高まっているため、プライベート データを共有せずにデバイスがオンデバイスの機械学習 (ML) モデルを共同でトレーニングするフェデレーテッド エッジ ラーニング (FEL) の幅広い応用が促進されています。
。
デバイスのハードウェア、多様なユーザー行動、ネットワーク インフラストラクチャによって制限される FEL のアルゴリズム設計は、リソース、パーソナライゼーション、ネットワーク環境に関する課題に直面しています。
幸いなことに、知識蒸留 (KD) は、FEL における上記の課題に取り組むための重要な手法として活用されています。
この論文では、KD が FEL に適用される研究を調査し、既存の KD ベースの FEL アプローチの限界と未解決の問題について議論し、実際の展開のためのガイダンスを提供します。

要約(オリジナル)

The increasing demand for intelligent services and privacy protection of mobile and Internet of Things (IoT) devices motivates the wide application of Federated Edge Learning (FEL), in which devices collaboratively train on-device Machine Learning (ML) models without sharing their private data. Limited by device hardware, diverse user behaviors and network infrastructure, the algorithm design of FEL faces challenges related to resources, personalization and network environments. Fortunately, Knowledge Distillation (KD) has been leveraged as an important technique to tackle the above challenges in FEL. In this paper, we investigate the works that KD applies to FEL, discuss the limitations and open problems of existing KD-based FEL approaches, and provide guidance for their real deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google