An LLM Agent for Automatic Geospatial Data Analysis

要約

データ サイエンス コード生成タスクでは大規模言語モデル (LLM) が使用されていますが、複雑な逐次タスクに苦労することが多く、論理エラーが発生します。
地理空間データ処理への応用は、複雑なデータ構造と空間制約の組み込み、多様な関数呼び出しの効果的な利用、およびあまり使用されていない地理空間ライブラリの幻覚を引き起こす傾向があるため、特に困難です。
これらの問題に取り組むために、LLM が地理空間データ処理をより効率的に処理できるように設計された新しい対話型フレームワークである GeoAgent を導入します。
GeoAgent は、モンテカルロ ツリー検索 (MCTS) アルゴリズム内でのコード インタープリター、静的分析、検索拡張生成 (RAG) 技術の統合を先駆けて行い、地理空間データ処理への新しいアプローチを提供します。
さらに、地理空間タスクにおける LLM ベースのアプローチを評価するために特別に設計された新しいベンチマークにも貢献します。
このベンチマークはさまざまな Python ライブラリを活用しており、データ取得、データ分析、視覚化などのシングル ターン タスクとマルチ ターン タスクの両方が含まれています。
このベンチマークは、多様な地理空間コンテキスト間の包括的な評価を提供することにより、地理空間データ分析タスクにおける LLM ベースのアプローチを開発するための新しい標準を設定します。
私たちの調査結果は、LLM の知識のみに依存するだけでは、一貫した複数ステップのプロセスと複数の関数呼び出しを必要とする正確な地理空間タスク プログラミングには不十分であることを示唆しています。
ベースライン LLM と比較して、提案された GeoAgent は優れたパフォーマンスを示し、関数呼び出しとタスク完了において顕著な改善をもたらしました。
さらに、これらの結果は、自動地理空間データ分析タスク プログラミングにおける LLM エージェントの将来の開発に貴重な洞察を提供します。

要約(オリジナル)

Large language models (LLMs) are being used in data science code generation tasks, but they often struggle with complex sequential tasks, leading to logical errors. Their application to geospatial data processing is particularly challenging due to difficulties in incorporating complex data structures and spatial constraints, effectively utilizing diverse function calls, and the tendency to hallucinate less-used geospatial libraries. To tackle these problems, we introduce GeoAgent, a new interactive framework designed to help LLMs handle geospatial data processing more effectively. GeoAgent pioneers the integration of a code interpreter, static analysis, and Retrieval-Augmented Generation (RAG) techniques within a Monte Carlo Tree Search (MCTS) algorithm, offering a novel approach to geospatial data processing. In addition, we contribute a new benchmark specifically designed to evaluate the LLM-based approach in geospatial tasks. This benchmark leverages a variety of Python libraries and includes both single-turn and multi-turn tasks such as data acquisition, data analysis, and visualization. By offering a comprehensive evaluation among diverse geospatial contexts, this benchmark sets a new standard for developing LLM-based approaches in geospatial data analysis tasks. Our findings suggest that relying solely on knowledge of LLM is insufficient for accurate geospatial task programming, which requires coherent multi-step processes and multiple function calls. Compared to the baseline LLMs, the proposed GeoAgent has demonstrated superior performance, yielding notable improvements in function calls and task completion. In addition, these results offer valuable insights for the future development of LLM agents in automatic geospatial data analysis task programming.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google