Heterogeneity-Aware Coordination for Federated Learning via Stitching Pre-trained blocks

要約

フェデレーション ラーニング (FL) は、複数のデバイスを調整して、データ プライバシーを維持しながら共有モデルを共同でトレーニングします。
ただし、トレーニング プロセス中のメモリ フットプリントが大きく、エネルギー消費が高いため、ローエンド デバイスは独自のデータを使用してグローバル モデルに貢献できなくなり、現実のシナリオではモデルのパフォーマンスが大幅に低下します。
この論文では、事前トレーニングされたブロックを使用した異種フェデレーション学習のための階層調整フレームワークである FedStitch を提案します。
グローバル モデルをゼロからトレーニングする従来のアプローチとは異なり、FedStitch は、新しいタスクに対して、事前トレーニングされたブロックをステッチングすることでグローバル モデルを構成します。
具体的には、参加している各クライアントは、事前トレーニングされたモデルのブロックで構成される候補プールから、ローカル データに基づいて最適なブロックを選択します。
次に、サーバーはスティッチングに最適なブロックを集約します。
このプロセスは、新しいステッチされたネットワークが生成されるまで繰り返されます。
新しいトレーニング パラダイムを除き、FedStitch は次の 3 つのコア コンポーネントで構成されます。1) RL 重み付けアグリゲーター、2) サーバー側に展開される検索スペース オプティマイザー、3) 参加している各クライアントに展開されるローカル エネルギー オプティマイザー。
RL 重み付けアグリゲーターは、非 IID シナリオで適切なブロックを選択するのに役立ちますが、サーチ スペース オプティマイザーはスティッチング中に候補ブロック プールのサイズを継続的に削減します。
一方、ローカル エネルギー オプティマイザーは、全体的なトレーニングの進捗を保証しながら、各クライアントのエネルギー消費を最小限に抑えるように設計されています。
結果は、既存のアプローチと比較して、FedStitch がモデルの精度を最大 20.93% 向上させることを示しています。
同時に、学習手順中に最大 8.12% の高速化を達成し、メモリ使用量を最大 79.5% 削減し、最大 89.41% のエネルギー節約を達成します。

要約(オリジナル)

Federated learning (FL) coordinates multiple devices to collaboratively train a shared model while preserving data privacy. However, large memory footprint and high energy consumption during the training process excludes the low-end devices from contributing to the global model with their own data, which severely deteriorates the model performance in real-world scenarios. In this paper, we propose FedStitch, a hierarchical coordination framework for heterogeneous federated learning with pre-trained blocks. Unlike the traditional approaches that train the global model from scratch, for a new task, FedStitch composes the global model via stitching pre-trained blocks. Specifically, each participating client selects the most suitable block based on their local data from the candidate pool composed of blocks from pre-trained models. The server then aggregates the optimal block for stitching. This process iterates until a new stitched network is generated. Except for the new training paradigm, FedStitch consists of the following three core components: 1) an RL-weighted aggregator, 2) a search space optimizer deployed on the server side, and 3) a local energy optimizer deployed on each participating client. The RL-weighted aggregator helps to select the right block in the non-IID scenario, while the search space optimizer continuously reduces the size of the candidate block pool during stitching. Meanwhile, the local energy optimizer is designed to minimize energy consumption of each client while guaranteeing the overall training progress. The results demonstrate that compared to existing approaches, FedStitch improves the model accuracy up to 20.93%. At the same time, it achieves up to 8.12% speedup, reduces the memory footprint up to 79.5%, and achieves 89.41% energy saving at most during the learning procedure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google