GeoCode-GPT: A Large Language Model for Geospatial Code Generation Tasks

要約

地球科学における時空間データとモデリング タスクの需要が高まっているため、地理空間コード生成テクノロジが生産性を向上させるための重要な要素となっています。
大規模言語モデル (LLM) はコード生成タスクでの可能性を示していますが、ドメイン固有の知識やコード コーパスの欠如により、地理空間コード生成においてコーディングの拒否や幻覚などの問題に遭遇することがよくあります。
これらの課題に対処するために、このペーパーでは、GeoCode-PT および GeoCode-SFT コーパスを GeoCode-Eval 評価データセットとともに提示し、オープンソース化します。
さらに、事前トレーニングと微調整に QLoRA と LoRA を活用することで、Code Llama-7B から微調整された地理空間コード生成に焦点を当てた最初の LLM である GeoCode-GPT-7B を導入します。
さらに、オプション マッチング、専門家による検証、LLM の迅速なエンジニアリング スコアリングを組み込んだ包括的な地理空間コード評価フレームワークを確立し、GeoCode-Eval データセットを使用して GeoCode-GPT-7B を系統的に評価します。
実験結果では、GeoCode-GPT は他のモデルよりも多肢選択精度で 9.1% ～ 32.1%、コード要約能力で 1.7% ～ 25.4%、コード生成能力で 1.2% ～ 25.1% 優れていることが示されています。
このペーパーでは、地理空間コード生成における LLM のパフォーマンスを向上させるためのソリューションと経験的検証を提供し、ドメイン固有のモデル アプリケーションの境界を拡張し、地理空間コード生成における LLM の可能性を解き放つための貴重な洞察を提供します。

要約(オリジナル)

The increasing demand for spatiotemporal data and modeling tasks in geosciences has made geospatial code generation technology a critical factor in enhancing productivity. Although large language models (LLMs) have demonstrated potential in code generation tasks, they often encounter issues such as refusal to code or hallucination in geospatial code generation due to a lack of domain-specific knowledge and code corpora. To address these challenges, this paper presents and open-sources the GeoCode-PT and GeoCode-SFT corpora, along with the GeoCode-Eval evaluation dataset. Additionally, by leveraging QLoRA and LoRA for pretraining and fine-tuning, we introduce GeoCode-GPT-7B, the first LLM focused on geospatial code generation, fine-tuned from Code Llama-7B. Furthermore, we establish a comprehensive geospatial code evaluation framework, incorporating option matching, expert validation, and prompt engineering scoring for LLMs, and systematically evaluate GeoCode-GPT-7B using the GeoCode-Eval dataset. Experimental results show that GeoCode-GPT outperforms other models in multiple-choice accuracy by 9.1% to 32.1%, in code summarization ability by 1.7% to 25.4%, and in code generation capability by 1.2% to 25.1%. This paper provides a solution and empirical validation for enhancing LLMs’ performance in geospatial code generation, extends the boundaries of domain-specific model applications, and offers valuable insights into unlocking their potential in geospatial code generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google