S-EO: A Large-Scale Dataset for Geometry-Aware Shadow Detection in Remote Sensing Applications

要約

S-EOデータセットを紹介します。ジオメトリ認識シャドウ検出を進めるために設計された大規模で高解像度のデータセットです。
チャレンジデータセットやUSGSなどの政府プロバイダーを含む多様なパブリックドメインソースから収集されたデータセットは、それぞれ500×500 mをカバーしている米国中の702のジオリファレンスタイルで構成されています。
各タイルには、マルチデートのマルチアングルワールドビュー-3パンシャープレンズRGB画像、パンクロマティック画像、およびLIDARスキャンから得られた領域の地上DSMが含まれています。
各画像について、ジオメトリと太陽の位置から派生​​した影のマスク、NDVIインデックスに基づく植生マスク、およびバンドル調整されたRPCモデルを提供します。
約20,000枚の画像を使用して、S-EOデータセットは、リモートセンシング画像と3D再構成へのアプリケーションでのシャドウ検出のための新しいパブリックリソースを確立します。
データセットの影響を実証するために、シャドウ検出器をトレーニングおよび評価し、空中画像にも一般化する能力を紹介します。
最後に、衛星画像の最先端のNERFアプローチであるEO-NERFを拡張して、3D再構成を改善するためにシャドウ予測を活用します。

要約(オリジナル)

We introduce the S-EO dataset: a large-scale, high-resolution dataset, designed to advance geometry-aware shadow detection. Collected from diverse public-domain sources, including challenge datasets and government providers such as USGS, our dataset comprises 702 georeferenced tiles across the USA, each covering 500×500 m. Each tile includes multi-date, multi-angle WorldView-3 pansharpened RGB images, panchromatic images, and a ground-truth DSM of the area obtained from LiDAR scans. For each image, we provide a shadow mask derived from geometry and sun position, a vegetation mask based on the NDVI index, and a bundle-adjusted RPC model. With approximately 20,000 images, the S-EO dataset establishes a new public resource for shadow detection in remote sensing imagery and its applications to 3D reconstruction. To demonstrate the dataset’s impact, we train and evaluate a shadow detector, showcasing its ability to generalize, even to aerial images. Finally, we extend EO-NeRF – a state-of-the-art NeRF approach for satellite imagery – to leverage our shadow predictions for improved 3D reconstructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google