FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices

要約

Federated Learning（FL）は、エッジコンピューティングシナリオでますます採用されています。このシナリオでは、多くの異種クライアントが制約されたリソースまたは十分なリソースの下で動作します。
従来のFLでの反復トレーニングプロセスは、リソースに制約のあるエッジデバイスには友好的ではない重要な計算と通信オーバーヘッドを導入します。
ワンショットFLは、通信オーバーヘッドを緩和するための有望なアプローチとして浮上しており、モデル分解FLは、クライアント間の多様なコンピューティングリソースの問題を解決します。
ただし、既存の方法は、モデル分解のワンショットFLを効果的に管理する上で課題に直面しており、多くの場合、不十分なグローバルモデルのパフォーマンスまたは補助データセットへの依存につながります。
これらの課題に対処するために、FedMHOという名前の新しいFLフレームワークを提案します。FeDMHOは、リソースが十分に不十分なクライアントとリソースに制約のあるデバイスの軽量生成モデルに関する深い分類モデルを活用します。
サーバー側では、FEDMHOには、データ生成と知識の融合を含む2段階のプロセスが含まれます。
さらに、FedMHO-MDとFEDMHO-SDを導入して、知識融合段階での知識浸透の問題を軽減し、合成サンプルの品質を改善するための監視されていないデータ最適化ソリューションを緩和します。
包括的な実験は、さまざまな実験セットアップで最先端のベースラインよりも優れているため、私たちの方法の有効性を示しています。

要約(オリジナル)

Federated Learning (FL) is increasingly adopted in edge computing scenarios, where a large number of heterogeneous clients operate under constrained or sufficient resources. The iterative training process in conventional FL introduces significant computation and communication overhead, which is unfriendly for resource-constrained edge devices. One-shot FL has emerged as a promising approach to mitigate communication overhead, and model-heterogeneous FL solves the problem of diverse computing resources across clients. However, existing methods face challenges in effectively managing model-heterogeneous one-shot FL, often leading to unsatisfactory global model performance or reliance on auxiliary datasets. To address these challenges, we propose a novel FL framework named FedMHO, which leverages deep classification models on resource-sufficient clients and lightweight generative models on resource-constrained devices. On the server side, FedMHO involves a two-stage process that includes data generation and knowledge fusion. Furthermore, we introduce FedMHO-MD and FedMHO-SD to mitigate the knowledge-forgetting problem during the knowledge fusion stage, and an unsupervised data optimization solution to improve the quality of synthetic samples. Comprehensive experiments demonstrate the effectiveness of our methods, as they outperform state-of-the-art baselines in various experimental setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google