FedBAT: Communication-Efficient Federated Learning via Learnable Binarization

要約

フェデレーテッド ラーニングは、ユーザーのプライバシーを暴露することなく大規模なデータを効果的に活用できる、有望な分散機械学習パラダイムです。
ただし、大幅な通信オーバーヘッドが発生する可能性があり、トレーニング効率が損なわれる可能性があります。
この課題に対処するために、多くの研究がモデルの更新を 2 値化することを提案しています。
それにもかかわらず、従来の方法では通常、トレーニング後の方法でモデルの更新を 2 値化するため、重大な近似誤差が生じ、その結果としてモデルの精度が低下します。
この目的を達成するために、ローカル トレーニング プロセス中にバイナリ モデルの更新を直接学習し、本質的に近似誤差を削減する新しいフレームワークである Federated Binarization-Aware Training (FedBAT) を提案します。
FedBAT には、革新的な二値化演算子と、効率的な学習を促進するために綿密に設計された導関数が組み込まれています。
さらに、FedBAT の収束に関する理論的保証を確立します。
4 つの人気のあるデータセットに対して広範な実験が行われています。
結果は、FedBAT が収束を大幅に加速し、ベースラインの精度を最大 9\% 上回っており、場合によっては FedAvg の精度を上回っていることを示しています。

要約(オリジナル)

Federated learning is a promising distributed machine learning paradigm that can effectively exploit large-scale data without exposing users’ privacy. However, it may incur significant communication overhead, thereby potentially impairing the training efficiency. To address this challenge, numerous studies suggest binarizing the model updates. Nonetheless, traditional methods usually binarize model updates in a post-training manner, resulting in significant approximation errors and consequent degradation in model accuracy. To this end, we propose Federated Binarization-Aware Training (FedBAT), a novel framework that directly learns binary model updates during the local training process, thus inherently reducing the approximation errors. FedBAT incorporates an innovative binarization operator, along with meticulously designed derivatives to facilitate efficient learning. In addition, we establish theoretical guarantees regarding the convergence of FedBAT. Extensive experiments are conducted on four popular datasets. The results show that FedBAT significantly accelerates the convergence and exceeds the accuracy of baselines by up to 9\%, even surpassing that of FedAvg in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google