Text2Seg: Remote Sensing Image Semantic Segmentation via Text-Guided Visual Foundation Models

要約

タイトル：Text2Seg：テキストガイドの視覚基盤モデルによるリモートセンシング画像の意味的セグメンテーション

要約：
– 最近では、Foundation Model（FM）においてGPT-4やLLaMAのようなモデルがゼロショット学習のシナリオにおいて優れた成果を出して注目されています。また、視覚学習の分野においてもGrounding DINOやSegment Anything Model（SAM）のようなモデルは、オープンセット検出やインスタンスセグメンテーションのタスクにおいて著しい進歩を遂げています。
– 本研究では、通常のシナリオとは異なる画像が多いリモートセンシングの分野に着目し、複数のFMを活用して、テキストプロンプトによってガイドされるリモートセンシング画像の意味的セグメンテーションタスクを行うパイプラインであるText2Segを開発しました。
– 本研究では、Text2Segの有効性を示すために、いくつかの広く使用されているリモートセンシングデータセットでベンチマークを行い、初期結果を提示しています。
– 本研究を通じて、モデルの調整を最小限に抑え、特定の文脈で視覚FMの適用可能性を最大化する洞察を提供することを目的としています。
– コードはhttps://github.com/Douglas2Code/Text2Segで公開されています。

要約(オリジナル)

Recent advancements in foundation models (FMs), such as GPT-4 and LLaMA, have attracted significant attention due to their exceptional performance in zero-shot learning scenarios. Similarly, in the field of visual learning, models like Grounding DINO and the Segment Anything Model (SAM) have exhibited remarkable progress in open-set detection and instance segmentation tasks. It is undeniable that these FMs will profoundly impact a wide range of real-world visual learning tasks, ushering in a new paradigm shift for developing such models. In this study, we concentrate on the remote sensing domain, where the images are notably dissimilar from those in conventional scenarios. We developed a pipeline that leverages multiple FMs to facilitate remote sensing image semantic segmentation tasks guided by text prompt, which we denote as Text2Seg. The pipeline is benchmarked on several widely-used remote sensing datasets, and we present preliminary results to demonstrate its effectiveness. Through this work, we aim to provide insights into maximizing the applicability of visual FMs in specific contexts with minimal model tuning. The code is available at https://github.com/Douglas2Code/Text2Seg.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI