Segment anything, from space?

要約

【タイトル】宇宙から何でもセグメント化可能？

【要約】
– 「Segment Anything Model（SAM）」は、ビジョンタスクに特化した最初のファウンデーションモデルであり、1つまたは複数の点、バウンディングボックス、またはマスクなどの手頃な入力プロンプトに基づいて入力イメージのオブジェクトをセグメンテーションできる。
– 著者らは、SAMのゼロショットイメージセグメンテーション精度を多数のビジョンベンチマークタスクで調べ、SAMは通常、ターゲットタスクで訓練されたビジョンモデルと同等か、時にはそれを上回る認識精度を達成することがわかった。
– SAMの印象的な汎用性は、自然イメージに取り組むビジョン研究者にとって重要な意義を持つ。
– 本研究では、SAMの印象的な性能がオーバーヘッドイメージ問題にも適用可能かどうかを検討し、コミュニティの対応を支援する。
– SAMの性能を多様で広く研究されたベンチマークタスクのセットで調べ、SAMはオーバーヘッドイメージにも通常は汎用的に適用できることがわかったが、一部の場合では、オーバーヘッドイメージとターゲットオブジェクトの固有の特性のために失敗することがある。
– これらの固有のシステマティックな失敗事例について報告し、今後の研究に有益となる。ただし、この論文は現在の作業用のものであり、追加の分析や結果が完成次第、更新される。

要約(オリジナル)

Recently, the first foundation model developed specifically for vision tasks was developed, termed the ‘Segment Anything Model’ (SAM). SAM can segment objects in input imagery based upon cheap input prompts, such as one (or more) points, a bounding box, or a mask. The authors examined the zero-shot image segmentation accuracy of SAM on a large number of vision benchmark tasks and found that SAM usually achieved recognition accuracy similar to, or sometimes exceeding, vision models that had been trained on the target tasks. The impressive generalization of SAM for segmentation has major implications for vision researchers working on natural imagery. In this work, we examine whether SAM’s impressive performance extends to overhead imagery problems, and help guide the community’s response to its development. We examine SAM’s performance on a set of diverse and widely-studied benchmark tasks. We find that SAM does often generalize well to overhead imagery, although it fails in some cases due to the unique characteristics of overhead imagery and the target objects. We report on these unique systematic failure cases for remote sensing imagery that may comprise useful future research for the community. Note that this is a working paper, and it will be updated as additional analysis and results are completed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI