Towards LLM Agents for Earth Observation

要約

地球観察（EO）は、環境監視、災害管理、気候科学、およびその他の科学的領域のための重要な惑星データを提供します。
ここで尋ねます：AIシステムは信頼できる地球観測の準備ができていますか？
13のトピックと17の衛星センサーにわたってNASA Earth Observatory Articleからの140のはい/いいえの質問のベンチマークである\ datasetnamenospaceを紹介します。
Google Earth Engine APIをツールとして使用すると、LLMエージェントは58％以上の時間を実行できないため、33％の精度しか達成できません。
合成データを微調整することにより、オープンモデルの故障率を改善し、はるかに小さなモデル（llama-3.1-8b）を可能にして、はるかに大きな精度（deepseek-r1など）に匹敵する精度を達成します。
まとめると、私たちの調査結果は、AIエージェントが地球の観察を自動化し、前進することを示唆する前に、解決すべき重要な課題を特定します。
プロジェクトページは、https：//iandrover.github.io/univearthで入手できます。

要約(オリジナル)

Earth Observation (EO) provides critical planetary data for environmental monitoring, disaster management, climate science, and other scientific domains. Here we ask: Are AI systems ready for reliable Earth Observation? We introduce \datasetnamenospace, a benchmark of 140 yes/no questions from NASA Earth Observatory articles across 13 topics and 17 satellite sensors. Using Google Earth Engine API as a tool, LLM agents can only achieve an accuracy of 33% because the code fails to run over 58% of the time. We improve the failure rate for open models by fine-tuning synthetic data, allowing much smaller models (Llama-3.1-8B) to achieve comparable accuracy to much larger ones (e.g., DeepSeek-R1). Taken together, our findings identify significant challenges to be solved before AI agents can automate earth observation, and suggest paths forward. The project page is available at https://iandrover.github.io/UnivEarth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google