Feature-Augmented Deep Networks for Multiscale Building Segmentation in High-Resolution UAV and Satellite Imagery

要約

高解像度のRGB画像からの正確な構築セグメンテーションは、非建設機能、影、不規則な建物の幾何学とのスペクトルの類似性のため、依然として困難です。
この研究では、0.4mから2.7mの範囲の空間解像度を使用したRGB空中および衛星画像を使用したマルチスケールビルディングセグメンテーションの包括的なディープラーニングフレームワークを紹介します。
多様なマルチセンサーデータセットをキュレートし、主成分分析（PCA）、可視差植生指数（VDVI）、形態学的建築インデックス（MBI）、およびRGBチャネルのSOBEL EDGEフィルターを含む二次表現を導き出すことにより、特徴を高める入力を導入します。
これらの機能は、複雑な空間パターンをより効果的に学習するためのRES-U-NETアーキテクチャを導きます。
また、トレーニング時間とリソースの使用量を削減するために、レイヤーの凍結、循環学習率、およびスーパーコンバージェンスを組み込んだトレーニングポリシーを提案します。
Hellow-Out Worldview-3画像で評価されたこのモデルは、96.5％の全体的な精度、0.86のF1スコア、および0.80の組合（IOU）上の交差点を達成し、既存のRGBベースのベンチマークを上回ります。
この研究は、リモートセンシングアプリケーションでの堅牢な建物セグメンテーションのためのマルチ解像度の画像、特徴の増強、および最適化されたトレーニング戦略を組み合わせることの有効性を示しています。

要約(オリジナル)

Accurate building segmentation from high-resolution RGB imagery remains challenging due to spectral similarity with non-building features, shadows, and irregular building geometries. In this study, we present a comprehensive deep learning framework for multiscale building segmentation using RGB aerial and satellite imagery with spatial resolutions ranging from 0.4m to 2.7m. We curate a diverse, multi-sensor dataset and introduce feature-augmented inputs by deriving secondary representations including Principal Component Analysis (PCA), Visible Difference Vegetation Index (VDVI), Morphological Building Index (MBI), and Sobel edge filters from RGB channels. These features guide a Res-U-Net architecture in learning complex spatial patterns more effectively. We also propose training policies incorporating layer freezing, cyclical learning rates, and SuperConvergence to reduce training time and resource usage. Evaluated on a held-out WorldView-3 image, our model achieves an overall accuracy of 96.5%, an F1-score of 0.86, and an Intersection over Union (IoU) of 0.80, outperforming existing RGB-based benchmarks. This study demonstrates the effectiveness of combining multi-resolution imagery, feature augmentation, and optimized training strategies for robust building segmentation in remote sensing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google