When Cars meet Drones: Hyperbolic Federated Learning for Source-Free Domain Adaptation in Adverse Weather

要約

Federated Learning (FL) では、プライベート データを共有することなく、複数のクライアントが共同してグローバル モデルをトレーニングします。
セマンティック セグメンテーションでは、フェデレーテッド ソース フリー ドメイン アダプテーション (FFreeDA) 設定が特に重要です。この設定では、サーバー側で教師あり事前トレーニングを行った後に、クライアントが教師なしトレーニングを受けます。
自律走行車の FL に取り組んだ最近の研究はほとんどありませんが、悪天候の存在やさまざまな自律エージェントの存在など、現実世界の本質的な課題はまだ解明されていません。
このギャップを埋めるために、私たちは両方の問題に対処し、自動車とドローンの両方のクライアントが共存して連携する新しいフェデレーテッド セマンティック セグメンテーション設定を導入します。
具体的には、双曲空間プロトタイプを使用して異種クライアント表現を調整しながら、バッチノルム気象認識戦略を利用してモデルをさまざまな気象条件に動的に適応させる、この設定に対する新しいアプローチを提案します。
最後に、航空機用の悪天候データを備えた初のセマンティック セグメンテーション データセットである FLYAWARE を紹介します。

要約(オリジナル)

In Federated Learning (FL), multiple clients collaboratively train a global model without sharing private data. In semantic segmentation, the Federated source Free Domain Adaptation (FFreeDA) setting is of particular interest, where clients undergo unsupervised training after supervised pretraining at the server side. While few recent works address FL for autonomous vehicles, intrinsic real-world challenges such as the presence of adverse weather conditions and the existence of different autonomous agents are still unexplored. To bridge this gap, we address both problems and introduce a new federated semantic segmentation setting where both car and drone clients co-exist and collaborate. Specifically, we propose a novel approach for this setting which exploits a batch-norm weather-aware strategy to dynamically adapt the model to the different weather conditions, while hyperbolic space prototypes are used to align the heterogeneous client representations. Finally, we introduce FLYAWARE, the first semantic segmentation dataset with adverse weather data for aerial vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google