Communication Size Reduction of Federated Learning using Neural ODE Models

要約

フェデレーテッド ラーニングとは、セキュリティとプライバシーを考慮して、データをサーバーに集約するのではなく、クライアントでローカルにトレーニングする機械学習アプローチです。
ResNetは古典的ですが代表的なニューラルネットワークで、入力と出力を足し合わせる残差関数を学習することでニューラルネットワークを深化させることに成功しています。
連合学習では、サーバーとクライアントの間で通信が行われ、重みパラメーターが交換されます。
ResNetは層が深くパラメータ数が多いため、通信サイズが大きくなります。
この論文では、Neural ODE を ResNet の軽量モデルとして使用して、フェデレーテッド ラーニングの通信サイズを削減します。
さらに、深さの異なる ResNet モデルに対応する反復回数の異なる Neural ODE モデルを使用した柔軟なフェデレーテッド ラーニングを新たに導入します。
CIFAR-10 データセットを使用した評価結果は、Neural ODE を使用すると、ResNet と比較して通信サイズが最大 92.4% 削減されることを示しています。
また、提案された柔軟なフェデレーテッド ラーニングが、異なる反復回数または深さのモデルをマージできることも示します。

要約(オリジナル)

Federated learning is a machine learning approach in which data is not aggregated on a server, but is trained at clients locally, in consideration of security and privacy. ResNet is a classic but representative neural network that succeeds in deepening the neural network by learning a residual function that adds the inputs and outputs together. In federated learning, communication is performed between the server and clients to exchange weight parameters. Since ResNet has deep layers and a large number of parameters, the communication size becomes large. In this paper, we use Neural ODE as a lightweight model of ResNet to reduce communication size in federated learning. In addition, we newly introduce a flexible federated learning using Neural ODE models with different number of iterations, which correspond to ResNet models with different depths. Evaluation results using CIFAR-10 dataset show that the use of Neural ODE reduces communication size by up to 92.4% compared to ResNet. We also show that the proposed flexible federated learning can merge models with different iteration counts or depths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google