Does Federated Learning Really Need Backpropagation?

要約

フェデレーテッド ラーニング (FL) は、分散クライアントがローカル データを共有せずにサーバー モデルを集合的にトレーニングするための一般原則です。
FL は実用的なアプリケーションを備えた有望なフレームワークですが、その標準トレーニング パラダイムでは、クライアントが勾配を計算するためにモデルを逆伝播する必要があります。
これらのクライアントは通常、エッジ デバイスであり完全に信頼されていないため、それらに対してバックプロパゲーションを実行すると、計算量とストレージのオーバーヘッドが発生するだけでなく、ホワイトボックスの脆弱性も発生します。
これを考慮して、BAFFLE と呼ばれるバックプロパゲーションのない連合学習を開発します。この学習では、バックプロパゲーションが勾配を推定するための複数の順方向プロセスに置き換えられます。
BAFFLE は 1) メモリ効率が高く、アップロード帯域幅に簡単に適合します。
2) 推論のみのハードウェア最適化およびモデルの量子化または枝刈りと互換性があります。
3) BAFFLE のクライアントは順伝播のみを実行し、スカラーのセットをサーバーに返すため、信頼できる実行環境に適しています。
経験的に、私たちは BAFFLE を使用して深いモデルを最初からトレーニングしたり、事前トレーニングされたモデルを微調整したりして、許容可能な結果を​​達成します。
コードは https://github.com/FengHZ/BAFFLE で入手できます。

要約(オリジナル)

Federated learning (FL) is a general principle for decentralized clients to train a server model collectively without sharing local data. FL is a promising framework with practical applications, but its standard training paradigm requires the clients to backpropagate through the model to compute gradients. Since these clients are typically edge devices and not fully trusted, executing backpropagation on them incurs computational and storage overhead as well as white-box vulnerability. In light of this, we develop backpropagation-free federated learning, dubbed BAFFLE, in which backpropagation is replaced by multiple forward processes to estimate gradients. BAFFLE is 1) memory-efficient and easily fits uploading bandwidth; 2) compatible with inference-only hardware optimization and model quantization or pruning; and 3) well-suited to trusted execution environments, because the clients in BAFFLE only execute forward propagation and return a set of scalars to the server. Empirically we use BAFFLE to train deep models from scratch or to finetune pretrained models, achieving acceptable results. Code is available in https://github.com/FengHZ/BAFFLE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google