PEACE: Empowering Geologic Map Holistic Understanding with MLLMs

要約

地質図は、地質科学の基本的な図として、地球の地下と表面の構造と組成についての重要な洞察を提供します。
災害検知、資源探査、土木工学など、さまざまな分野で欠かせない地図です。
その重要性にもかかわらず、現在のマルチモーダル大規模言語モデル (MLLM) は、地質図の理解において不十分なことがよくあります。
このギャップは主に、高解像度地図の処理、複数の関連コンポーネントの管理、およびドメイン固有の知識の必要性を伴う、地図作成の一般化の困難な性質によるものです。
このギャップを定量化するために、私たちは、地質図の理解におけるMLLMを評価するための史上初のベンチマークであるGeoMap-Benchを構築しました。これは、抽出、参照、基礎付け、推論、分析における本格的な能力を評価します。
このギャップを埋めるために、地質図を理解するために設計された最初のエージェントである GeoMap-Agent を導入します。これは、階層情報抽出 (HIE)、ドメイン知識挿入 (DKI)、プロンプト強化質問応答 (PEQA) の 3 つのモジュールを備えています。
人間の科学者間の学際的なコラボレーションから着想を得た、AI 専門家グループがコンサルタントとして機能し、多様なツールプールを利用して疑問を包括的に分析します。
包括的な実験を通じて、GeoMap-Agent は GeoMap-Bench で総合スコア 0.811 を達成し、GPT-4o の 0.369 を大幅に上回りました。
MLLM による地質地図総合理解 (PEACE) の強化という私たちの取り組みは、地質学における高度な AI アプリケーションへの道を切り開き、地質調査の効率と精度を向上させます。

要約(オリジナル)

Geologic map, as a fundamental diagram in geology science, provides critical insights into the structure and composition of Earth’s subsurface and surface. These maps are indispensable in various fields, including disaster detection, resource exploration, and civil engineering. Despite their significance, current Multimodal Large Language Models (MLLMs) often fall short in geologic map understanding. This gap is primarily due to the challenging nature of cartographic generalization, which involves handling high-resolution map, managing multiple associated components, and requiring domain-specific knowledge. To quantify this gap, we construct GeoMap-Bench, the first-ever benchmark for evaluating MLLMs in geologic map understanding, which assesses the full-scale abilities in extracting, referring, grounding, reasoning, and analyzing. To bridge this gap, we introduce GeoMap-Agent, the inaugural agent designed for geologic map understanding, which features three modules: Hierarchical Information Extraction (HIE), Domain Knowledge Injection (DKI), and Prompt-enhanced Question Answering (PEQA). Inspired by the interdisciplinary collaboration among human scientists, an AI expert group acts as consultants, utilizing a diverse tool pool to comprehensively analyze questions. Through comprehensive experiments, GeoMap-Agent achieves an overall score of 0.811 on GeoMap-Bench, significantly outperforming 0.369 of GPT-4o. Our work, emPowering gEologic mAp holistiC undErstanding (PEACE) with MLLMs, paves the way for advanced AI applications in geology, enhancing the efficiency and accuracy of geological investigations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google