SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation

要約

近年、セマンティック セグメンテーションは衛星画像の処理と解釈において極めて重要なツールとなっています。
しかし、教師あり学習手法の一般的な限界として、専門家による広範な手動による注釈が必要であることが依然として残っています。
この研究では、地球観測タスクにおける注釈付きデータの不足に対処するための生成画像拡散の可能性を探ります。
主なアイデアは、ノイズ除去拡散確率モデルにおける最近の進歩を活用して、画像とラベルの結合データ多様体を学習することです。
私たちの知る限り、衛星セグメンテーション用の画像と対応するマスクの両方を生成したのは私たちが初めてです。
得られたペアは、微細スケールの特徴において高品質を示すだけでなく、幅広いサンプリングの多様性を確保していることがわかりました。
どちらの側面も地球観測データにとって重要であり、意味クラスは規模や発生頻度が大幅に異なる可能性があります。
データ拡張の一形態として、下流のセグメンテーションに新しいデータ インスタンスを使用します。
私たちの実験では、識別拡散モデルまたは GAN に基づいた以前の研究との比較を提供します。
生成されたサンプルを統合すると、ベースラインと比較した場合と、元のデータのみでトレーニングした場合の両方で、衛星セマンティック セグメンテーションの定量的な大幅な向上が得られることを実証します。

要約(オリジナル)

In recent years, semantic segmentation has become a pivotal tool in processing and interpreting satellite imagery. Yet, a prevalent limitation of supervised learning techniques remains the need for extensive manual annotations by experts. In this work, we explore the potential of generative image diffusion to address the scarcity of annotated data in earth observation tasks. The main idea is to learn the joint data manifold of images and labels, leveraging recent advancements in denoising diffusion probabilistic models. To the best of our knowledge, we are the first to generate both images and corresponding masks for satellite segmentation. We find that the obtained pairs not only display high quality in fine-scale features but also ensure a wide sampling diversity. Both aspects are crucial for earth observation data, where semantic classes can vary severely in scale and occurrence frequency. We employ the novel data instances for downstream segmentation, as a form of data augmentation. In our experiments, we provide comparisons to prior works based on discriminative diffusion models or GANs. We demonstrate that integrating generated samples yields significant quantitative improvements for satellite semantic segmentation — both compared to baselines and when training only on the original data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google