AstroLLaMA-Chat: Scaling AstroLLaMA with Conversational and Diverse Datasets

要約

私たちは、対象を絞った継続的な事前トレーニングを通じて、天文学に焦点を当てた質問応答における LLM のパフォーマンスを向上させる可能性を探ります。
コンパクトな 7B パラメータの LLaMA-2 モデルを採用し、要約、導入、結論で構成される精選された天文学コーパスのセットのみに焦点を当てることにより、専門的なトピックの理解が著しく向上しました。
GPT-4 のような一般的な LLM は、優れた推論機能により広範な質問応答シナリオに優れていますが、限られたリソースでの継続的な事前トレーニングでも、特殊なトピックに関するモデルのパフォーマンスを向上できることが今回の調査結果で示唆されています。
さらに、AstroLLaMA の拡張機能、つまりドメイン固有の会話データセットでの 7B LLaMA モデルの微調整を紹介し、最終的にコミュニティで使用できるチャット対応の AstroLLaMA のリリースに至ります。
包括的な定量的ベンチマークは現在進行中であり、今後のフルペーパーで詳しく説明される予定です。
このモデル AstroLLaMA-Chat は現在 https://huggingface.co/universeTBD で利用可能であり、天文学コミュニティ向けに調整された初のオープンソース会話型 AI ツールを提供します。

要約(オリジナル)

We explore the potential of enhancing LLM performance in astronomy-focused question-answering through targeted, continual pre-training. By employing a compact 7B-parameter LLaMA-2 model and focusing exclusively on a curated set of astronomy corpora — comprising abstracts, introductions, and conclusions — we achieve notable improvements in specialized topic comprehension. While general LLMs like GPT-4 excel in broader question-answering scenarios due to superior reasoning capabilities, our findings suggest that continual pre-training with limited resources can still enhance model performance on specialized topics. Additionally, we present an extension of AstroLLaMA: the fine-tuning of the 7B LLaMA model on a domain-specific conversational dataset, culminating in the release of the chat-enabled AstroLLaMA for community use. Comprehensive quantitative benchmarking is currently in progress and will be detailed in an upcoming full paper. The model, AstroLLaMA-Chat, is now available at https://huggingface.co/universeTBD, providing the first open-source conversational AI tool tailored for the astronomy community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google