Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices

要約

フェデレーテッド ラーニング (FL) は通常、計算用のメモリが限られているなど、リソースに制約のあるエッジ デバイスで実行されます。
モデルのトレーニングに必要なメモリがこの制限を超える場合、デバイスはトレーニングから除外されます。
これにより、貴重なデータや計算リソースがトレーニングから除外されるため、精度が低下する可能性があり、また、偏見や不公平が生じる可能性があります。
FL トレーニング プロセスは、そのような制約に合わせて調整する必要があります。
最先端の技術は、制約されたデバイスで FL モデルのサブセットをトレーニングすることを提案し、トレーニングに必要なリソースを削減します。
しかし、これらの手法はモデルのパラメーター間の相互適応を大幅に制限しており、私たちが示すように非常に非効率です。実際には、すべてのデバイスがモデルをエンドツートレーニングできるシステムによって、より小さい (精度の低い) モデルをトレーニングする方が良いのです。
-end、そのようなテクニックを適用するよりも。
我々は、デバイスでの FL モデルのパラメータの連続的なフリーズとトレーニングを可能にし、デバイスでのトレーニングのリソース要件を削減しながら、パラメータ間の十分な共適応を可能にする新しい方法を提案します。
私たちは広範な実験評価を通じて、私たちの技術が最新技術と比較してトレーニングされたモデルの精度を大幅に向上させ（52.4 pp.）、分散デバイスで利用可能な計算能力を効率的に集約することを示しました。

要約(オリジナル)

Federated learning (FL) is usually performed on resource-constrained edge devices, e.g., with limited memory for the computation. If the required memory to train a model exceeds this limit, the device will be excluded from the training. This can lead to a lower accuracy as valuable data and computation resources are excluded from training, also causing bias and unfairness. The FL training process should be adjusted to such constraints. The state-of-the-art techniques propose training subsets of the FL model at constrained devices, reducing their resource requirements for training. But these techniques largely limit the co-adaptation among parameters of the model and are highly inefficient, as we show: it is actually better to train a smaller (less accurate) model by the system where all the devices can train the model end-to-end, than applying such techniques. We propose a new method that enables successive freezing and training of the parameters of the FL model at devices, reducing the training’s resource requirements at the devices, while still allowing enough co-adaptation between parameters. We show through extensive experimental evaluation that our technique greatly improves the accuracy of the trained model (by 52.4 p.p.) compared with the state of the art, efficiently aggregating the computation capacity available on distributed devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google