PACuna: Automated Fine-Tuning of Language Models for Particle Accelerators

要約

最近の貢献の急増により、粒子加速器の状況をナビゲートすることはますます困難になっています。
これらの複雑な装置は、個々の施設内であっても理解するのが困難です。
これに対処するために、カンファレンス、プレプリント、書籍などの公開されているアクセラレータ リソースを通じて洗練された、微調整された言語モデルである PACuna を導入します。
データ収集と質問生成を自動化して、専門家の関与を最小限に抑え、データを一般に公開しました。
PACuna は、複雑なアクセラレータの質問に対処する能力を実証しており、専門家によって検証されています。
私たちのアプローチは、技術テキストと最新の開発を捕捉する自動生成コーパスを微調整することによって言語モデルを科学領域に適応させることで、市販のアシスタントではできないいくつかの複雑な質問に答えるための事前トレーニング済みモデルをさらに生成でき、個々の施設のインテリジェントアシスタントとして機能できることを示しています。
。

要約(オリジナル)

Navigating the landscape of particle accelerators has become increasingly challenging with recent surges in contributions. These intricate devices challenge comprehension, even within individual facilities. To address this, we introduce PACuna, a fine-tuned language model refined through publicly available accelerator resources like conferences, pre-prints, and books. We automated data collection and question generation to minimize expert involvement and make the data publicly available. PACuna demonstrates proficiency in addressing intricate accelerator questions, validated by experts. Our approach shows adapting language models to scientific domains by fine-tuning technical texts and auto-generated corpora capturing the latest developments can further produce pre-trained models to answer some intricate questions that commercially available assistants cannot and can serve as intelligent assistants for individual facilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google