OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence

要約

マルチモーダル大手言語モデル（LLMS）の急速な進歩により、人工知能の新しいフロンティアが開かれ、テキスト、画像、空間情報などの多様な大規模なデータ型の統合が可能になりました。
このホワイトペーパーでは、地理空間データ（GEOAI）のマルチモーダルLLM（MLLM）の可能性を調査します。これは、地理セマンティクス、健康地理、都市地理学、都市の認識、リモートセンシングなどのドメインの課題に対処するために空間データを活用する分野です。
衛星画像、地理空間メタデータ、テキストの説明など、異種のデータソースを処理および分析できる地理空間用途に合わせたMLLM（Omnigeo）を提案します。
自然言語の理解と空間的推論の強みを組み合わせることにより、私たちのモデルは、指示のフォローとGeoaiシステムの正確性の能力を高めます。
結果は、私たちのモデルが、多様な地理空間タスクでタスク固有のモデルと既存のLLMを上回り、ゼロショットの地理空間タスクで競争結果を達成しながら、マルチモダリティの性質に効果的に対処することを示しています。
私たちのコードは公開後にリリースされます。

要約(オリジナル)

The rapid advancement of multimodal large language models (LLMs) has opened new frontiers in artificial intelligence, enabling the integration of diverse large-scale data types such as text, images, and spatial information. In this paper, we explore the potential of multimodal LLMs (MLLM) for geospatial artificial intelligence (GeoAI), a field that leverages spatial data to address challenges in domains including Geospatial Semantics, Health Geography, Urban Geography, Urban Perception, and Remote Sensing. We propose a MLLM (OmniGeo) tailored to geospatial applications, capable of processing and analyzing heterogeneous data sources, including satellite imagery, geospatial metadata, and textual descriptions. By combining the strengths of natural language understanding and spatial reasoning, our model enhances the ability of instruction following and the accuracy of GeoAI systems. Results demonstrate that our model outperforms task-specific models and existing LLMs on diverse geospatial tasks, effectively addressing the multimodality nature while achieving competitive results on the zero-shot geospatial tasks. Our code will be released after publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google