Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation

要約

連携学習は分散したクライアントリソースを活用するが、クライアントの能力が異質であるために課題に直面する。そのため、クライアントのリソースに適したモデルを割り当てたり、この異種性に対応するための慎重なパラメータ集約が必要となる。我々は、マルチ出口ネットワークアーキテクチャとハイパーネットワークベースのモデル重み生成を組み合わせることにより、クライアントの異種性をサポートする新しい連合学習フレームワークであるHypeMeFedを提案する。このアプローチは、異種モデル層の特徴空間を整列させ、重み集約時に層毎の情報格差を解消する。HypeMeFedを実用的に実現するために、ハイパーネットワークに関連する計算とメモリのオーバーヘッドを最小化する低ランク因数分解アプローチも提案する。実世界の異種デバイスのテストベッドで評価した結果、HypeMeFedはFedAvgと比較して精度を5.12%向上させ、ハイパーネットワークのメモリ要件を98.22%削減し、素朴なハイパーネットワークアプローチと比較して演算を1.86倍高速化した。これらの結果は、HypeMeFedが連合学習のために異種クライアントを活用し、参加させるのに有効であることを示しています。

要約(オリジナル)

While federated learning leverages distributed client resources, it faces challenges due to heterogeneous client capabilities. This necessitates allocating models suited to clients’ resources and careful parameter aggregation to accommodate this heterogeneity. We propose HypeMeFed, a novel federated learning framework for supporting client heterogeneity by combining a multi-exit network architecture with hypernetwork-based model weight generation. This approach aligns the feature spaces of heterogeneous model layers and resolves per-layer information disparity during weight aggregation. To practically realize HypeMeFed, we also propose a low-rank factorization approach to minimize computation and memory overhead associated with hypernetworks. Our evaluations on a real-world heterogeneous device testbed indicate that HypeMeFed enhances accuracy by 5.12% over FedAvg, reduces the hypernetwork memory requirements by 98.22%, and accelerates its operations by 1.86 times compared to a naive hypernetwork approach. These results demonstrate HypeMeFed’s effectiveness in leveraging and engaging heterogeneous clients for federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL