CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization

要約

フェデレーテッド ラーニング (FL) に参加するデバイスは通常、異種の通信、計算、メモリ リソースを備えています。
ただし、同期 FL では、すべてのデバイスがサーバーによって指定された同じ期限までにトレーニングを完了する必要があります。
私たちの結果は、制約されたデバイスでニューラル ネットワーク (NN) のより小さなサブセットをトレーニングすること、つまり、最先端技術で提案されているニューロン/フィルターをドロップすることは非効率的であり、これらのデバイスがモデルに効果的に貢献することを妨げていることを示しています。
これにより、特にデバイス間でクラス ラベルの分布が偏っている場合、制約されたデバイスの達成可能な精度に関して不公平が生じます。
我々は、すべてのデバイス上で完全な NN 構造を維持する新しい FL 技術 CoCoFL を紹介します。
デバイスの異種リソースに適応するために、CoCoFL は選択したレイヤーをフリーズして量子化し、通信、計算、メモリ要件を削減しますが、他のレイヤーは引き続き完全な精度でトレーニングされ、高精度の達成が可能になります。
これにより、CoCoFL はデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスが FL システムに大きく貢献できるようになり、参加者間の公平性 (精度パリティ) が向上し、モデルの最終精度が大幅に向上します。

要約(オリジナル)

Devices participating in federated learning (FL) typically have heterogeneous communication, computation, and memory resources. However, in synchronous FL, all devices need to finish training by the same deadline dictated by the server. Our results show that training a smaller subset of the neural network (NN) at constrained devices, i.e., dropping neurons/filters as proposed by state of the art, is inefficient, preventing these devices to make an effective contribution to the model. This causes unfairness w.r.t the achievable accuracies of constrained devices, especially in cases with a skewed distribution of class labels across devices. We present a novel FL technique, CoCoFL, which maintains the full NN structure on all devices. To adapt to the devices’ heterogeneous resources, CoCoFL freezes and quantizes selected layers, reducing communication, computation, and memory requirements, whereas other layers are still trained in full precision, enabling to reach a high accuracy. Thereby, CoCoFL efficiently utilizes the available resources on devices and allows constrained devices to make a significant contribution to the FL system, increasing fairness among participants (accuracy parity) and significantly improving the final accuracy of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google