FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning

要約

大規模なニューラル ネットワークは、かなりの表現力を備えています。
これらは、産業用途における複雑な学習タスクに適しています。
ただし、大規模なモデルは、現在のフェデレーテッド ラーニング (FL) パラダイムの下でのトレーニングに重大な課題をもたらします。
効率的な FL トレーニングのための既存のアプローチでは、モデル パラメーターのドロップアウトを利用することがよくあります。
ただし、個々のモデル パラメーターを操作することは、大規模な FL モデルをトレーニングするときに通信オーバーヘッドを大幅に削減するには非効率であるだけでなく、最近の研究で示されているように、スケーリングの取り組みやモデルのパフォーマンスに悪影響を与える可能性もあります。
これらの問題に対処するために、Federated Opportunistic Block Dropout (FedOBD) アプローチを提案します。
主な新しさは、大規模モデルをセマンティック ブロックに分解することで、FL 参加者がモデルのトレーニングに重要であると考えられる量子化ブロックを機会を見て集約のために FL サーバーにアップロードできることです。
複数の実世界のデータセットに基づく 4 つの最先端のアプローチに対して FedOBD を評価する広範な実験により、最高のテスト精度を達成しながら、最高のパフォーマンスを発揮するベースラインのアプローチと比較して全体の通信オーバーヘッドが 88% 以上削減されることがわかりました。
私たちの知る限り、FedOBD は、個々のパラメーター レベルではなくブロック レベルで FL モデルのドロップアウトを実行する最初のアプローチです。

要約(オリジナル)

Large-scale neural networks possess considerable expressive power. They are well-suited for complex learning tasks in industrial applications. However, large-scale models pose significant challenges for training under the current Federated Learning (FL) paradigm. Existing approaches for efficient FL training often leverage model parameter dropout. However, manipulating individual model parameters is not only inefficient in meaningfully reducing the communication overhead when training large-scale FL models, but may also be detrimental to the scaling efforts and model performance as shown by recent research. To address these issues, we propose the Federated Opportunistic Block Dropout (FedOBD) approach. The key novelty is that it decomposes large-scale models into semantic blocks so that FL participants can opportunistically upload quantized blocks, which are deemed to be significant towards training the model, to the FL server for aggregation. Extensive experiments evaluating FedOBD against four state-of-the-art approaches based on multiple real-world datasets show that it reduces the overall communication overhead by more than 88% compared to the best performing baseline approach, while achieving the highest test accuracy. To the best of our knowledge, FedOBD is the first approach to perform dropout on FL models at the block level rather than at the individual parameter level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google