Leveraging Topology for Domain Adaptive Road Segmentation in Satellite and Aerial Imagery

要約

リモート センシング画像からセグメンテーションを通じて道路の正確な側面を取得することは、自動運転車、都市開発と計画、持続可能な開発目標の達成など、多くの実世界のアプリケーションに役立ちます。
道路は画像のほんの一部にすぎず、その外観、種類、幅、標高、方向などは地理的領域によって大きく異なります。
さらに、都市化のスタイル、計画、自然環境の違いにより、
道路沿いの地域によって大きく異なります。
トレーニング ドメインとテスト ドメイン間のこうしたばらつきのため、道路セグメンテーション アルゴリズムは新しい地理的位置に一般化できません。
一般的なドメイン調整シナリオとは異なり、道路セグメンテーションにはシーン構造がなく、一般的なドメイン適応方法では連続性、接続性、滑らかさなどのトポロジ特性を強制することができないため、ドメイン調整が低下します。
この研究では、リモート センシング画像における道路セグメンテーションのための、トポロジーを意識した教師なしドメイン適応アプローチを提案します。
具体的には、トポロジー制約を課すための補助タスクである道路骨格を予測します。
特にラベルのないターゲット ドメインにおいて、道路と骨格の一貫した予測を強制するために、骨格予測ヘッドと道路セグメンテーション ヘッド全体にわたって適合性損失が定義されます。
さらに、自己トレーニングのために、道路とスケルトンのセグメンテーション ヘッドの両方で接続ベースの擬似ラベル洗練戦略を使用してノイズの多い擬似ラベルをフィルタリングし、穴や不連続性を回避します。
ベンチマーク データセットに対する広範な実験により、既存の最先端の方法と比較して、提案されたアプローチの有効性が示されています。
具体的には、SpaceNet から DeepGlobe への適応に関して、提案されたアプローチは、IoU、F1 スコア、および APLS において、それぞれ最小マージン 6.6%、6.7%、および 9.8% で競合手法を上回っています。

要約(オリジナル)

Getting precise aspects of road through segmentation from remote sensing imagery is useful for many real-world applications such as autonomous vehicles, urban development and planning, and achieving sustainable development goals. Roads are only a small part of the image, and their appearance, type, width, elevation, directions, etc. exhibit large variations across geographical areas. Furthermore, due to differences in urbanization styles, planning, and the natural environments; regions along the roads vary significantly. Due to these variations among the train and test domains, the road segmentation algorithms fail to generalize to new geographical locations. Unlike the generic domain alignment scenarios, road segmentation has no scene structure, and generic domain adaptation methods are unable to enforce topological properties like continuity, connectivity, smoothness, etc., thus resulting in degraded domain alignment. In this work, we propose a topology-aware unsupervised domain adaptation approach for road segmentation in remote sensing imagery. Specifically, we predict road skeleton, an auxiliary task to impose the topological constraints. To enforce consistent predictions of road and skeleton, especially in the unlabeled target domain, the conformity loss is defined across the skeleton prediction head and the road-segmentation head. Furthermore, for self-training, we filter out the noisy pseudo-labels by using a connectivity-based pseudo-labels refinement strategy, on both road and skeleton segmentation heads, thus avoiding holes and discontinuities. Extensive experiments on the benchmark datasets show the effectiveness of the proposed approach compared to existing state-of-the-art methods. Specifically, for SpaceNet to DeepGlobe adaptation, the proposed approach outperforms the competing methods by a minimum margin of 6.6%, 6.7%, and 9.8% in IoU, F1-score, and APLS, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google