Zero-Shot Tree Detection and Segmentation from Aerial Forest Imagery

要約

リモートセンシング画像から個々の樹木を大規模に抽出することは、特に気候変動やその他の環境要因が世界中の森林景観を急速に変化させる中、生態学的研究の進歩にとって極めて重要である。現在のRGB樹木のセグメンテーション手法は、ラベル付けされた樹木データセットを用いて特殊な機械学習モデルをトレーニングすることに依存している。このような学習ベースのアプローチは、正確であれば手作業によるデータ収集よりも優れているが、既存のモデルは依然として、拡張が困難な学習データに依存している。本論文では、最先端の画像セグメンテーションモデルであるSegment Anything Model 2 (SAM2)を、個々の木の検出とセグメンテーションのためにゼロショットで使用する有効性を調査する。(1)ゼロショットセグメンテーション、(2)既存の樹木検出モデルからの予測をプロンプトとして使用したゼロショット転送。我々の結果は、SAM2が印象的な汎化能力を持つだけでなく、ドメイン内のラベル付きデータで訓練された特殊な手法と自然な相乗効果を形成できることを示唆している。我々は、大規模な事前学習済みモデルをリモートセンシングの問題に適用することが、将来の進歩のための有望な道であることを発見した。我々のコードは、https://github.com/open-forest-observatory/tree-detection-framework。

要約(オリジナル)

Large-scale delineation of individual trees from remote sensing imagery is crucial to the advancement of ecological research, particularly as climate change and other environmental factors rapidly transform forest landscapes across the world. Current RGB tree segmentation methods rely on training specialized machine learning models with labeled tree datasets. While these learning-based approaches can outperform manual data collection when accurate, the existing models still depend on training data that’s hard to scale. In this paper, we investigate the efficacy of using a state-of-the-art image segmentation model, Segment Anything Model 2 (SAM2), in a zero-shot manner for individual tree detection and segmentation. We evaluate a pretrained SAM2 model on two tasks in this domain: (1) zero-shot segmentation and (2) zero-shot transfer by using predictions from an existing tree detection model as prompts. Our results suggest that SAM2 not only has impressive generalization capabilities, but also can form a natural synergy with specialized methods trained on in-domain labeled data. We find that applying large pretrained models to problems in remote sensing is a promising avenue for future progress. We make our code available at: https://github.com/open-forest-observatory/tree-detection-framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL