Learning A Foundation Language Model for Geoscience Knowledge Understanding and Utilization

要約

大規模言語モデル (LLM) は、自然言語処理の一般的な領域で大きな成功を収めています。
この論文では、この分野での研究と応用を推進することを目的として、LLM を地球科学の領域に導入します。
この目的を達成するために、地球科学における LLM 研究をさらに推進するために開発された一連のリソースとともに、地球科学における初の LLM K2 を紹介します。
たとえば、私たちは、地球科学関連のユーザー クエリに対する LLM 応答を調整することを目的とした、最初の地球科学指導調整データセット GeoSignal を厳選しました。
さらに、地球科学の文脈で LLM を評価するために、最初の地球科学ベンチマークである GeoBenchmark を確立しました。
この作業では、事前トレーニング済みの一般ドメイン LLM を地球科学ドメインに適応させるための完全なレシピを実験します。
具体的には、100 万件を超える地球科学文献に基づいて LLaMA-7B モデルをさらにトレーニングし、GeoSignal の教師付きデータを利用してモデルを微調整します。
さらに、人手が不足している状況でも、ドメイン固有のデータを効率的に収集し、ドメイン監視データを構築できるプロトコルを共有しています。
GeoBenchmark で行われた実験は、私たちのアプローチとデータセットの有効性を実証しています。

要約(オリジナル)

Large language models (LLMs)have achieved great success in general domains of natural language processing. In this paper, we bring LLMs to the realm of geoscience, with the objective of advancing research and applications in this field. To this end, we present the first-ever LLM in geoscience, K2, alongside a suite of resources developed to further promote LLM research within geoscience. For instance, we have curated the first geoscience instruction tuning dataset, GeoSignal, which aims to align LLM responses to geoscience-related user queries. Additionally, we have established the first geoscience benchmark, GeoBenchmark, to evaluate LLMs in the context of geoscience. In this work, we experiment with a complete recipe to adapt a pretrained general-domain LLM to the geoscience domain. Specifically, we further train the LLaMA-7B model on over 1 million pieces of geoscience literature and utilize GeoSignal’s supervised data to fine-tune the model. Moreover, we share a protocol that can efficiently gather domain-specific data and construct domain-supervised data, even in situations where manpower is scarce. Experiments conducted on the GeoBenchmark demonstrate the the effectiveness of our approach and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google