FedSaaS: Class-Consistency Federated Semantic Segmentation via Global Prototype Supervision and Local Adversarial Harmonization

要約

フェデレーションセマンティックセグメンテーションにより、データプライバシーを維持しながら、共同学習を通じて画像のピクセルレベルの分類が可能になります。
ただし、既存の研究では、一般に、異種の問題、特にドメインシフトに対処する際に、セマンティックスペース内の細かいクラスの関係を見落としています。
この監視は、クラスの表現間の曖昧さをもたらします。
この課題を克服するために、Fedsaasと呼ばれるクラスの一貫性を打つ新しいフェデレーションセグメンテーションフレームワークを提案します。
具体的には、ローカルレベルとグローバルレベルのクラス表現の両方の基準としてクラスの模範を紹介します。
サーバー側では、アップロードされたクラスの模範は、クライアントのグローバルブランチを監督し、グローバルレベルの表現との整合を確保するクラスのプロトタイプをモデル化するように活用されます。
クライアント側では、グローバルおよびローカルブランチの貢献を調和させるための敵対的なメカニズムを組み込み、一貫した出力につながります。
さらに、同じセマンティックスペースの2レベルの表現間の一貫性を実施するために、両側でマルチレベルの対照損失が採用されています。
いくつかの運転シーンセグメンテーションデータセットでの広範な実験は、当社のフレームワークが最先端の方法を上回り、平均セグメンテーションの精度を大幅に改善し、クラスコンシスタンシー表現の問題に効果的に対処することを示しています。

要約(オリジナル)

Federated semantic segmentation enables pixel-level classification in images through collaborative learning while maintaining data privacy. However, existing research commonly overlooks the fine-grained class relationships within the semantic space when addressing heterogeneous problems, particularly domain shift. This oversight results in ambiguities between class representation. To overcome this challenge, we propose a novel federated segmentation framework that strikes class consistency, termed FedSaaS. Specifically, we introduce class exemplars as a criterion for both local- and global-level class representations. On the server side, the uploaded class exemplars are leveraged to model class prototypes, which supervise global branch of clients, ensuring alignment with global-level representation. On the client side, we incorporate an adversarial mechanism to harmonize contributions of global and local branches, leading to consistent output. Moreover, multilevel contrastive losses are employed on both sides to enforce consistency between two-level representations in the same semantic space. Extensive experiments on several driving scene segmentation datasets demonstrate that our framework outperforms state-of-the-art methods, significantly improving average segmentation accuracy and effectively addressing the class-consistency representation problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google