LISAT: Language-Instructed Segmentation Assistant for Satellite Imagery

要約

セグメンテーションモデルは、画像内のオブジェクトの事前定義されたセットを認識することができる。しかし、暗黙的に複数のオブジェクトを参照する複雑なユーザークエリを推論できるモデルは、まだ発展途上である。最近の推論セグメンテーションの進歩–複雑で暗黙的なクエリテキストからセグメンテーションマスクを生成する–は、視覚言語モデルがオープンな領域で動作し、妥当な出力を生成できることを示している。しかし、我々の実験によれば、このようなモデルは複雑なリモートセンシング画像では苦戦する。この研究では、複雑なリモートセンシングシーンを記述し、それに関する質問に答え、興味のあるオブジェクトをセグメント化するために設計された視覚言語モデルであるLISAtを紹介する。LISAtは、9,205枚の画像に27,615のアノテーションを付与した新しい地理空間推論セグメンテーションデータセットGRESと、100万以上の質問と回答のペアを含むマルチモーダル事前学習データセットPreGRESで学習させた。LISAtは、RS-GPT4Vのような既存の地理空間基礎モデルを、リモートセンシング記述タスクにおいて10.04 % (BLEU-4)上回り、推論セグメンテーションタスクにおいて143.36 % (gIoU)上回った。我々のモデル、データセット、コードは https://lisat-bair.github.io/LISAt/ で利用可能です。

要約(オリジナル)

Segmentation models can recognize a pre-defined set of objects in images. However, models that can reason over complex user queries that implicitly refer to multiple objects of interest are still in their infancy. Recent advances in reasoning segmentation–generating segmentation masks from complex, implicit query text–demonstrate that vision-language models can operate across an open domain and produce reasonable outputs. However, our experiments show that such models struggle with complex remote-sensing imagery. In this work, we introduce LISAt, a vision-language model designed to describe complex remote-sensing scenes, answer questions about them, and segment objects of interest. We trained LISAt on a new curated geospatial reasoning-segmentation dataset, GRES, with 27,615 annotations over 9,205 images, and a multimodal pretraining dataset, PreGRES, containing over 1 million question-answer pairs. LISAt outperforms existing geospatial foundation models such as RS-GPT4V by over 10.04 % (BLEU-4) on remote-sensing description tasks, and surpasses state-of-the-art open-domain models on reasoning segmentation tasks by 143.36 % (gIoU). Our model, datasets, and code are available at https://lisat-bair.github.io/LISAt/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL