GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

要約

大規模なマルチモーダルモデル（LMMS）の最近の進歩は、視覚的理解と対話の必須要因として、きめ細かい接地を認識しています。
ただし、LMMSでのこのような表現の利点は自然画像ドメインに限定されており、これらのモデルはリモートセンシング（RS）に対してパフォーマンスが低下します。
高解像度のRS画像における小さなオブジェクトの明確なオーバーヘッドの視点、スケール変動、および存在は、地域レベルの理解におけるユニークな課題を示しています。
さらに、RS内のLMMの接地会話能力の開発は、粒状のRSドメイン固有の接地データの欠如によって妨げられます。
これらの制限に対処すると、ピクセルレベルの接地をサポートする最初のエンドツーエンドの高解像度RS-LMMであるGeoPixelを提案します。
この機能により、会話でインターリーブマスクを生成することにより、きめ細かい視覚的知覚が可能になります。
GeoPixelは、あらゆるアスペクト比で最大4K HD解像度をサポートしており、高精度のRS画像分析に最適です。
RS画像で接地された会話生成（GCG）をサポートするために、データ生成プロセスを方法で制御するためにRSデータに合わせて調整されたセットマークと空間的プライアーを使用する半自動パイプラインを介して、視覚的に接地されたデータセットGeopixeldをキュレートします。
GeoPixelは、ピクセルレベルの理解において優れたパフォーマンスを示し、シングルターゲットとマルチターゲットセグメンテーションの両方のセグメンテーションタスクの両方で既存のLMMを上回ります。
私たちの方法論的なアブレーション研究は、全体的なアーキテクチャにおける各コンポーネントの有効性を検証します。
コードとデータは公開されます。

要約(オリジナル)

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel – the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google