FedICT: Federated Multi-task Distillation for Multi-access Edge Computing

要約

モバイル デバイスのインテリジェント サービスとプライバシー保護への関心の高まりにより、マルチアクセス エッジ コンピューティング (MEC) におけるフェデレーテッド ラーニングの広範な応用が生まれています。
多様なユーザー行動には、さまざまなデバイス上の異種機械学習 (ML) モデルを使用したパーソナライズされたサービスが必要です。
Federated Multi-task Learning (FMTL) は、さまざまなデバイス向けに、関連性はあるがパーソナライズされた ML モデルをトレーニングするために提案されていますが、これまでの研究ではトレーニング中に過剰な通信オーバーヘッドが発生し、MEC 内のデバイス間のモデルの異質性が無視されています。
知識の蒸留を FMTL に導入すると、効率的なコミュニケーションとクライアント間のモデルの異質性が同時に可能になりますが、既存の方法は公開データセットに依存しているため、現実には非現実的です。
このジレンマに取り組むために、FedICT (Federated MultI-task Distillation for Multi-access Edge CompuTing) が提案されています。
FedICT は、クライアントとサーバー間の双方向蒸留プロセス中に、ローカルとグローバルの知識を超然と直接直接提供します。これは、クライアント側のローカル モデルの多様な最適化方向から派生するクライアント ドリフトを軽減しながら、マルチタスク クライアントを可能にすることを目的としています。
具体的には、FedICT には、Federated Prior Knowledge Distillation (FPKD) と Local Knowledge Adjustment (LKA) が含まれます。
FPKD は、ローカル データ分布に関する事前知識を導入することで、クライアントのローカル データのフィッティングを強化するために提案されています。
さらに、LKA はサーバーの蒸留損失を修正し、転送されたローカルな知識を一般化された表現とよりよく一致させるために提案されています。
3 つのデータセットの実験では、FedICT がさまざまな異種データおよびモデル アーキテクチャ設定で比較したすべてのベンチマークを大幅に上回り、FedAvg と比較して 1.2% 未満のトレーニング通信オーバーヘッド、FedGKT と比較して 75% 未満のトレーニング通信ラウンドで精度の向上を達成していることが示されています。

要約(オリジナル)

The growing interest in intelligent services and privacy protection for mobile devices has given rise to the widespread application of federated learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for personalized services with heterogeneous Machine Learning (ML) models on different devices. Federated Multi-task Learning (FMTL) is proposed to train related but personalized ML models for different devices, whereas previous works suffer from excessive communication overhead during training and neglect the model heterogeneity among devices in MEC. Introducing knowledge distillation into FMTL can simultaneously enable efficient communication and model heterogeneity among clients, whereas existing methods rely on a public dataset, which is impractical in reality. To tackle this dilemma, Federated MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed. FedICT direct local-global knowledge aloof during bi-directional distillation processes between clients and the server, aiming to enable multi-task clients while alleviating client drift derived from divergent optimization directions of client-side local models. Specifically, FedICT includes Federated Prior Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is proposed to reinforce the clients’ fitting of local data by introducing prior knowledge of local data distributions. Moreover, LKA is proposed to correct the distillation loss of the server, making the transferred local knowledge better match the generalized representation. Experiments on three datasets show that FedICT significantly outperforms all compared benchmarks in various data heterogeneous and model architecture settings, achieving improved accuracy with less than 1.2% training communication overhead compared with FedAvg and no more than 75% training communication round compared with FedGKT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google