SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

要約

科学文献の理解は、対象となる情報を抽出して洞察を得るために重要であり、それによって科学的発見を大幅に前進させることができます。
大規模言語モデル (LLM) は目覚ましい成功を収めているにもかかわらず、主に (1) 科学的知識の欠如、および (2) 専門的な科学的タスクに不慣れなために、科学文献の理解において課題に直面しています。
科学文献の理解に特化した LLM を開発するために、継続的事前トレーニング (CPT) と教師あり微調整 (SFT) を統合するハイブリッド戦略を提案し、同時に科学分野の知識を注入し、分野特有のタスクの指示に従う能力を強化します。
.cこのプロセスでは、(1) 高品質の CPT コーパスの構築、および (2) 多様な SFT 命令の生成という 2 つの重要な課題を特定します。
当社は、PDF テキストの抽出、解析コンテンツのエラー修正、品質フィルタリング、合成命令の作成など、細心の注意を払ったパイプラインを通じてこれらの課題に対処します。
この戦略を適用して、科学文献の理解に特化した LLM スイートである SciLitLLM を紹介します。
これらのモデルは、科学文献理解ベンチマークにおいて有望なパフォーマンスを示しています。
私たちの貢献は 3 つあります。 (1) CPT と SFT を統合して LLM を科学文献の理解に適応させる効果的なフレームワークを提示します。これは他の領域にも簡単に適応できます。
(2) 我々は、多様で高品質の科学的命令を生成するための LLM ベースの合成手法を提案し、その結果、あまり代表されていない科学的領域における教師あり微調整のための新しい命令セットである SciLitIns が誕生します。
(3) SciLitLLM は、科学文献理解ベンチマークにおいて有望なパフォーマンス向上を達成します。

要約(オリジナル)

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set — SciLitIns — for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google