Quokka: An Open-source Large Language Model ChatBot for Material Science

要約

この論文では、Llama-2 言語モデルを活用し、S2ORC データセットからの材料科学領域の広範な研究論文の事前トレーニングを継続する、材料科学に特化したチャットボットの開発について説明します。
この方法論には、100 万件を超えるドメイン固有の論文に関する初期の事前トレーニング段階と、それに続くチャットボットの機能を洗練するための命令調整プロセスが含まれます。
チャットボットは、材料科学分野の質問に対して状況を認識した即時応答を提供することで、研究者、教育者、学生を支援するように設計されています。
https://github.com/Xianjun-Yang/Quokka では、4 つのトレーニング済みチェックポイント (7B、13B、チャット機能の有無にかかわらず) を研究コミュニティが自由に利用できるようにしています。

要約(オリジナル)

This paper presents the development of a specialized chatbot for materials science, leveraging the Llama-2 language model, and continuing pre-training on the expansive research articles in the materials science domain from the S2ORC dataset. The methodology involves an initial pretraining phase on over one million domain-specific papers, followed by an instruction-tuning process to refine the chatbot’s capabilities. The chatbot is designed to assist researchers, educators, and students by providing instant, context-aware responses to queries in the field of materials science. We make the four trained checkpoints (7B, 13B, with or without chat ability) freely available to the research community at https://github.com/Xianjun-Yang/Quokka.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google