Seeing the roads through the trees: A benchmark for modeling spatial dependencies with aerial imagery

要約

複雑な高解像度の衛星または航空画像のシーンを完全に理解するには、多くの場合、広範な関連コンテキストにわたる空間的推論が必要になります。
人物認識システムは、長距離の関連コンテキストにわたってシーン内のオブジェクトを理解できます。
たとえば、樹冠によって道路の一部が分断されている様子を示す空撮シーンを人間が観察した場合、その道路が実際に樹木によってバラバラに分断されていると結論付ける可能性は低く、代わりに近くの樹冠が影響していると考えるでしょう。
道路を塞いでいます。
ただし、最新の機械学習モデルの長期的なコンテキスト理解を理解するために実施されている研究は限られています。
この研究では、地理空間機械学習モデルの空間的長距離コンテキスト理解を評価するための道路セグメンテーション ベンチマーク データセットであるチェサピーク道路空間コンテキスト (RSC) を提案し、一般的に使用されるセマンティック セグメンテーション モデルがこのタスクでどのように失敗する可能性があるかを示します。
たとえば、航空画像の背景から道路をセグメント化するようにトレーニングされた U-Net は、遮蔽物がない道路では 84% の再現率を達成しますが、樹冠で覆われた道路では、両方を同じ方法でモデル化するようにトレーニングされたにもかかわらず、わずか 63.5% の再現率しか達成できないことを示します。
さらに、決定に関連するコンテキスト (この場合は遮蔽されていない道路) の距離が変化するにつれて、モデルのパフォーマンスがどのように変化するかを分析します。
この方向での将来の研究を促進するために、実験と画像とマスクのデータセットを再現するコードを公開します — https://github.com/isaaccorley/ChesapeakeRSC。

要約(オリジナル)

Fully understanding a complex high-resolution satellite or aerial imagery scene often requires spatial reasoning over a broad relevant context. The human object recognition system is able to understand object in a scene over a long-range relevant context. For example, if a human observes an aerial scene that shows sections of road broken up by tree canopy, then they will be unlikely to conclude that the road has actually been broken up into disjoint pieces by trees and instead think that the canopy of nearby trees is occluding the road. However, there is limited research being conducted to understand long-range context understanding of modern machine learning models. In this work we propose a road segmentation benchmark dataset, Chesapeake Roads Spatial Context (RSC), for evaluating the spatial long-range context understanding of geospatial machine learning models and show how commonly used semantic segmentation models can fail at this task. For example, we show that a U-Net trained to segment roads from background in aerial imagery achieves an 84% recall on unoccluded roads, but just 63.5% recall on roads covered by tree canopy despite being trained to model both the same way. We further analyze how the performance of models changes as the relevant context for a decision (unoccluded roads in our case) varies in distance. We release the code to reproduce our experiments and dataset of imagery and masks to encourage future research in this direction — https://github.com/isaaccorley/ChesapeakeRSC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google