A GAN-Enhanced Deep Learning Framework for Rooftop Detection from Historical Aerial Imagery

要約

歴史的な航空写真から屋根を正確に検出することは、長期的な都市開発と人間の居住パターンを分析するために不可欠である。しかしながら、モノクロのアナログ写真は、その限られた空間解像度、色情報の欠如、保存劣化のため、現代の物体検出フレームワークにとってかなりの課題をもたらす。これらの課題に対処するため、本研究では、生成的逆数ネットワーク（GAN）に基づく2段階の画像強調パイプラインを導入する。すなわち、DeOldifyによる画像のカラー化と、Real-ESRGANによる超解像強調である。その後、Faster R-CNN、DETReg、YOLOv11nを含む屋上検出モデルの訓練と評価を行った。その結果、カラー化と超解像を組み合わせることで、検出性能が大幅に向上し、YOLOv11nの平均平均精度（mAP）は85%を超えた。これは、オリジナルの白黒画像と比較して約40％、カラー化のみによって強化された画像と比較して20％の強化を意味する。提案手法は、アーカイブ画像と現代のディープラーニング技術とのギャップを効果的に埋め、歴史的航空写真から建物の足跡をより確実に抽出することを容易にする。我々の結果を再現するためのコードとリソースは、〚github.com/Pengyu-gis/Historical-Aerial-Photos 〛で公開されています。

要約(オリジナル)

Precise detection of rooftops from historical aerial imagery is essential for analyzing long-term urban development and human settlement patterns. Nonetheless, black-and-white analog photographs present considerable challenges for modern object detection frameworks due to their limited spatial resolution, absence of color information, and archival degradation. To address these challenges, this research introduces a two-stage image enhancement pipeline based on Generative Adversarial Networks (GANs): image colorization utilizing DeOldify, followed by super-resolution enhancement with Real-ESRGAN. The enhanced images were subsequently employed to train and evaluate rooftop detection models, including Faster R-CNN, DETReg, and YOLOv11n. The results demonstrate that the combination of colorization with super-resolution significantly enhances detection performance, with YOLOv11n achieving a mean Average Precision (mAP) exceeding 85\%. This signifies an enhancement of approximately 40\% over the original black-and-white images and 20\% over images enhanced solely through colorization. The proposed method effectively bridges the gap between archival imagery and contemporary deep learning techniques, facilitating more reliable extraction of building footprints from historical aerial photographs. Code and resources for reproducing our results are publicly available at \href{https://github.com/Pengyu-gis/Historical-Aerial-Photos}{github.com/Pengyu-gis/Historical-Aerial-Photos}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL