L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning

要約

カメラ対応デバイスの普及により、ラベルのない大量の画像データがエッジで生成されるようになりました。
自己教師あり学習 (SSL) とフェデレーテッド ラーニング (FL) を 1 つの一貫したシステムに統合すると、データの移動を必要とせずに、学習された視覚的表現の品質と堅牢性を向上させながら、データ プライバシーの保証を提供できる可能性があります。
ただし、データの異質性によって引き起こされる FL 集計中のクライアントのバイアスと発散により、下流タスクでの学習された視覚表現のパフォーマンスが制限されます。
このペーパーでは、FL アグリゲーション中のクライアントのバイアスとダイバージェンスの影響を軽減するために、Layer-wise Divergence Aware Weight Aggregation (L-DAWA) と呼ばれる新しいアグリゲーション戦略を提案します。
提案された方法は、クライアントのモデルとグローバル モデルの間の角度の発散の尺度に従って、レイヤー レベルで重みを集計します。
CIFAR-10/100 および Tiny ImageNet データセットでのクロスサイロおよびクロスデバイス設定による広範な実験により、私たちの方法が効果的であり、対照的および非対照的な SSL アプローチの両方で新しい SOTA パフォーマンスが得られることが実証されました。

要約(オリジナル)

The ubiquity of camera-enabled devices has led to large amounts of unlabeled image data being produced at the edge. The integration of self-supervised learning (SSL) and federated learning (FL) into one coherent system can potentially offer data privacy guarantees while also advancing the quality and robustness of the learned visual representations without needing to move data around. However, client bias and divergence during FL aggregation caused by data heterogeneity limits the performance of learned visual representations on downstream tasks. In this paper, we propose a new aggregation strategy termed Layer-wise Divergence Aware Weight Aggregation (L-DAWA) to mitigate the influence of client bias and divergence during FL aggregation. The proposed method aggregates weights at the layer-level according to the measure of angular divergence between the clients’ model and the global model. Extensive experiments with cross-silo and cross-device settings on CIFAR-10/100 and Tiny ImageNet datasets demonstrate that our methods are effective and obtain new SOTA performance on both contrastive and non-contrastive SSL approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google