Navigating Data Heterogeneity in Federated Learning A Semi-Supervised Approach for Object Detection

要約

Federated Learning (FL) は、データのプライバシーを維持しながら分散データ ソース全体でモデルをトレーニングするための強力なフレームワークとして登場しました。
それにもかかわらず、特に自動運転などのアプリケーションでは、高品質ラベルと非 IID クライアント データが限られているという課題に直面しています。
これらのハードルに対処するために、私たちは半教師あり連携オブジェクト検出 (SSFOD) という未知の領域をナビゲートします。
私たちは、ラベル付きデータがサーバーにのみ存在し、クライアントがラベルなしデータを所有しているシナリオ向けに設計された、先駆的な SSFOD フレームワークを紹介します。
特に、私たちの方法は、ラベル付き非 IID データが 0% であるクライアントに対する SSFOD の最初の実装を表しており、各クライアントでラベルの一部を維持する以前の研究とはまったく対照的です。
私たちは、サーバーとクライアントの間のデータシフト (気象条件など) に効果的に対処するために、選択的トレーニングとそれに続く直交的に強化されたフルパラメーター トレーニングを含む 2 段階の戦略である FedSTO を提案します。
私たちの貢献には、過学習を回避するための検出器のバックボーンの選択的改良、表現発散を高めるための直交性正則化、高品質の擬似ラベルを生成するためのローカル EMA 駆動の擬似ラベル割り当てが含まれます。
著名な自動運転データセット (BDD100K、Cityscapes、SODA10M) に対する広範な検証により、当社のアプローチの有効性が証明され、最先端の結果が実証されました。
注目すべきことに、FedSTO はラベルのわずか 20 ～ 30% を使用して、完全に監視された集中トレーニング手法とほぼ同等のパフォーマンスを発揮します。

要約(オリジナル)

Federated Learning (FL) has emerged as a potent framework for training models across distributed data sources while maintaining data privacy. Nevertheless, it faces challenges with limited high-quality labels and non-IID client data, particularly in applications like autonomous driving. To address these hurdles, we navigate the uncharted waters of Semi-Supervised Federated Object Detection (SSFOD). We present a pioneering SSFOD framework, designed for scenarios where labeled data reside only at the server while clients possess unlabeled data. Notably, our method represents the inaugural implementation of SSFOD for clients with 0% labeled non-IID data, a stark contrast to previous studies that maintain some subset of labels at each client. We propose FedSTO, a two-stage strategy encompassing Selective Training followed by Orthogonally enhanced full-parameter training, to effectively address data shift (e.g. weather conditions) between server and clients. Our contributions include selectively refining the backbone of the detector to avert overfitting, orthogonality regularization to boost representation divergence, and local EMA-driven pseudo label assignment to yield high-quality pseudo labels. Extensive validation on prominent autonomous driving datasets (BDD100K, Cityscapes, and SODA10M) attests to the efficacy of our approach, demonstrating state-of-the-art results. Remarkably, FedSTO, using just 20-30% of labels, performs nearly as well as fully-supervised centralized training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google