Geo-Tiles for Semantic Segmentation of Earth Observation Imagery

要約

地球観測画像のセマンティック セグメンテーションの計算における高い要件に対処するために、現在の最先端のパイプラインは、対応するデータをより小さな画像に分割します。
既存の手法とベンチマーク データセットは、多くの場合、ピクセルベースのタイル スキームや、Web マッピング アプリケーションで採用されているジオタイル スキームに依存しています。
サブイメージ (サイズ、位置、方向を含む) の選択は非常に重要です。
これは、各ピクセルの利用可能なコンテキスト情報に影響を与え、トレーニング中のタイルの数を定義し、タイルのコンテンツをセグメンテーション モデルで必要なサイズにダウンサンプリングおよびアップサンプリングする際の情報劣化の程度に影響を与えます。
我々は、ラスター データの地理情報に基づいて地理タイルを作成するタイル スキーマに依存した、地球観測画像用の新しいセグメンテーション パイプラインを提案します。
このアプローチは、ピクセルベースまたは一般的な Web マッピングのアプローチと比較して、いくつかの有益な特性を示します。
提案されたタイル スキーマは、タイルの粒度、タイル ストライド、画像境界の位置合わせに関する柔軟なカスタマイズ プロパティを示します。
これにより、トレーニング中にタイル固有のデータ拡張を実行したり、推論中に重複するタイルのデータを使用して限られたコンテキスト情報でピクセル予測を置き換えたりすることができます。
生成されたタイルは、全体的に一貫した空間タイル範囲を示します。
異種センサー、さまざまな記録距離、さまざまな緯度。
提案されたタイリング システムが現在の最先端のセマンティック セグメンテーション モデルの結果をどのように改善できるかを示します。
将来の研究を促進するために、ソースコードを公開します。

要約(オリジナル)

To cope with the high requirements during the computation of semantic segmentations of earth observation imagery, current state-of-the-art pipelines divide the corresponding data into smaller images. Existing methods and benchmark datasets oftentimes rely on pixel-based tiling schemes or on geo-tiling schemes employed by web mapping applications. The selection of subimages (comprising size, location and orientation) is crucial. It affects the available context information of each pixel, defines the number of tiles during training, and influences the degree of information degradation while down- and up-sampling the tile contents to the size required by the segmentation model. We propose a new segmentation pipeline for earth observation imagery relying on a tiling scheme that creates geo-tiles based on the geo-information of the raster data. This approach exhibits several beneficial properties compared to pixel-based or common web mapping approaches. The proposed tiling scheme shows flexible customization properties regarding tile granularity, tile stride and image boundary alignment. This allows us to perform a tile specific data augmentation during training and a substitution of pixel predictions with limited context information using data of overlapping tiles during inference. The generated tiles show a consistent spatial tile extent w.r.t. heterogeneous sensors, varying recording distances and different latitudes. We demonstrate how the proposed tiling system allows to improve the results of current state-of-the-art semantic segmentation models. To foster future research we make the source code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google