A deep cut into Split Federated Self-supervised Learning

要約

協調的な自己教師あり学習は、最近、クライアント デバイスと中央サーバーの間でネットワーク層を分割することにより、高度に分散された環境で実現可能になりました。
ただし、MocoSFL などの最先端の方法は、初期層でのネットワーク分割に最適化されているため、クライアント データの保護が低下し、通信オーバーヘッドが増加します。
この論文では、分散トレーニングにおいてプライバシーと通信効率を維持するには分割の深さが重要であることを実証します。
また、MocoSFL では通信オーバーヘッドが最小限であるにもかかわらず、壊滅的な品質劣化が発生することも示します。
解決策として、トレーニング手順中にオンライン モデルとモメンタム クライアント モデルを調整する Momentum-Aligned Contrastive Split Federated Learning (MonAcoSFL) を導入します。
その結果、通信オーバーヘッドを大幅に削減しながら最先端の精度を実現し、MonAcoSFL を現実のシナリオでより実用的なものにします。

要約(オリジナル)

Collaborative self-supervised learning has recently become feasible in highly distributed environments by dividing the network layers between client devices and a central server. However, state-of-the-art methods, such as MocoSFL, are optimized for network division at the initial layers, which decreases the protection of the client data and increases communication overhead. In this paper, we demonstrate that splitting depth is crucial for maintaining privacy and communication efficiency in distributed training. We also show that MocoSFL suffers from a catastrophic quality deterioration for the minimal communication overhead. As a remedy, we introduce Momentum-Aligned contrastive Split Federated Learning (MonAcoSFL), which aligns online and momentum client models during training procedure. Consequently, we achieve state-of-the-art accuracy while significantly reducing the communication overhead, making MonAcoSFL more practical in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google