FIARSE: Model-Heterogeneous Federated Learning via Importance-Aware Submodel Extraction

要約

フェデレーテッド ラーニング (FL) では、クライアントのさまざまな計算能力に対応することが課題となり、リソースに制約のあるクライアントのグローバル モデル トレーニングへの参加が制限されることがよくあります。
この問題に対処するために、サブモデル抽出によるモデルの異質性の概念が登場し、モデルの複雑さを各クライアントの計算能力に合わせて調整するカスタマイズされたソリューションを提供します。
この研究では、モデル パラメーターの重要性に基づいてサブモデルを動的に調整する新しいアプローチである Federated Importance-Aware Submodel Extraction (FIARSE) を提案します。これにより、以前の静的および動的サブモデル抽出方法の制限が克服されます。
既存の手法と比較して、提案された方法はサブモデル抽出の理論的基盤を提供し、パラメータの重要性を判断するためにモデルパラメータ自体を超える追加情報の必要性を排除し、クライアントのオーバーヘッドを大幅に削減します。
提案された FARSE の優れたパフォーマンスを示すために、さまざまなデータセットに対して広範な実験が行われています。

要約(オリジナル)

In federated learning (FL), accommodating clients’ varied computational capacities poses a challenge, often limiting the participation of those with constrained resources in global model training. To address this issue, the concept of model heterogeneity through submodel extraction has emerged, offering a tailored solution that aligns the model’s complexity with each client’s computational capacity. In this work, we propose Federated Importance-Aware Submodel Extraction (FIARSE), a novel approach that dynamically adjusts submodels based on the importance of model parameters, thereby overcoming the limitations of previous static and dynamic submodel extraction methods. Compared to existing works, the proposed method offers a theoretical foundation for the submodel extraction and eliminates the need for additional information beyond the model parameters themselves to determine parameter importance, significantly reducing the overhead on clients. Extensive experiments are conducted on various datasets to showcase the superior performance of the proposed FIARSE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google