A deep cut into Split Federated Self-supervised Learning

要約

協力的な自己学習学習は、クライアントデバイスと中央サーバー間でネットワークレイヤーを分割することにより、高度に分散された環境で最近実行可能になりました。
ただし、MOCOSFLなどの最先端の方法は、クライアントデータの保護を減少させ、通信オーバーヘッドを増加させる初期レイヤーのネットワーク部門に最適化されています。
この論文では、分散トレーニングのプライバシーとコミュニケーションの効率を維持するために、深さを分割することが重要であることを示します。
また、MoCoSFLが最小限の通信オーバーヘッドに対して壊滅的な品質の悪化に苦しんでいることを示しています。
治療薬として、トレーニング手順中にオンラインおよび勢いのクライアントモデルを整列させる運動量に合わせたコントラストスプリットフェデレートラーニング（MonacosFL）を導入します。
その結果、私たちは最先端の精度を達成しながら、通信のオーバーヘッドを大幅に削減し、現実世界のシナリオでMonacosflをより実用的にします。

要約(オリジナル)

Collaborative self-supervised learning has recently become feasible in highly distributed environments by dividing the network layers between client devices and a central server. However, state-of-the-art methods, such as MocoSFL, are optimized for network division at the initial layers, which decreases the protection of the client data and increases communication overhead. In this paper, we demonstrate that splitting depth is crucial for maintaining privacy and communication efficiency in distributed training. We also show that MocoSFL suffers from a catastrophic quality deterioration for the minimal communication overhead. As a remedy, we introduce Momentum-Aligned contrastive Split Federated Learning (MonAcoSFL), which aligns online and momentum client models during training procedure. Consequently, we achieve state-of-the-art accuracy while significantly reducing the communication overhead, making MonAcoSFL more practical in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google