Bridging Data Islands: Geographic Heterogeneity-Aware Federated Learning for Collaborative Remote Sensing Semantic Segmentation

要約

リモート センシング セマンティック セグメンテーション (RSS) は、地球観測ミッションに不可欠なテクノロジーです。
地理情報セキュリティ、データ プライバシー、ストレージのボトルネック、業界の競争に対する懸念により、高品質の注釈付きリモート センシング画像は分離され、複数の機関に分散されることがよくあります。
リモート センシング データ アイランドの問題は、グローバル モデルをトレーニングするために分離されたデータセットを完全に活用する際に課題を引き起こします。
フェデレーテッド ラーニング (FL) は、プライバシーを保護する分散型共同学習テクノロジーであり、分離されたリモート センシング データを活用する潜在的なソリューションを提供します。
通常、さまざまな機関からのリモート センシング画像は、クラス分布の不均一性とオブジェクトの外観の不均一性の組み合わせによって特徴付けられる、地理的不均一性を顕著に示します。
しかし、既存の FL 手法ではこれらの点が考慮されていないため、FL を RSS に直接適用するとグローバル モデルのパフォーマンスが低下します。
我々は、RSS のデータアイランドを橋渡しするための新しい地理的異質性を意識したフェデレーテッド ラーニング (GeoFed) フレームワークを提案します。
私たちのフレームワークは、Global Insight Enhancement (GIE) モジュール、Essential Feature Mining (EFM) モジュール、Local-Global Balance (LoGo) モジュールを含む 3 つのモジュールで構成されています。
GIE モジュールを通じて、事前のグローバル クラス分布ベクトルを導入することにより、クラス分布の不均一性が軽減されます。
必須の機能を構築することでオブジェクトの外観の不均一性を軽減する EFM モジュールを設計します。
さらに、LoGo モジュールにより、モデルはグローバルな汎化機能とローカルな適応の両方を備えることができます。
3 つの公開データセット (FedFBP、FedCASID、FedInria) に対する広範な実験により、GeoFed フレームワークが現在の最先端の手法よりも常に優れていることが実証されました。

要約(オリジナル)

Remote sensing semantic segmentation (RSS) is an essential technology in earth observation missions. Due to concerns over geographic information security, data privacy, storage bottleneck and industry competition, high-quality annotated remote sensing images are often isolated and distributed across institutions. The issue of remote sensing data islands poses challenges for fully utilizing isolated datasets to train a global model. Federated learning (FL), a privacy-preserving distributed collaborative learning technology, offers a potential solution to leverage isolated remote sensing data. Typically, remote sensing images from different institutions exhibit significant geographic heterogeneity, characterized by coupled class-distribution heterogeneity and object-appearance heterogeneity. However, existing FL methods lack consideration of them, leading to a decline in the performance of the global model when FL is directly applied to RSS. We propose a novel Geographic heterogeneity-aware Federated learning (GeoFed) framework to bridge data islands in RSS. Our framework consists of three modules, including the Global Insight Enhancement (GIE) module, the Essential Feature Mining (EFM) module and the Local-Global Balance (LoGo) module. Through the GIE module, class distribution heterogeneity is alleviated by introducing a prior global class distribution vector. We design an EFM module to alleviate object appearance heterogeneity by constructing essential features. Furthermore, the LoGo module enables the model to possess both global generalization capability and local adaptation. Extensive experiments on three public datasets (i.e., FedFBP, FedCASID, FedInria) demonstrate that our GeoFed framework consistently outperforms the current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google