Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment

要約

一般的な大規模言語モデル (LLM) を特殊なドメインに適応させるには、データの分布が多様であるため、大きな課題が生じます。
この適応には通常、知識の暗記を容易にするために大規模なドメイン固有のコーパスに対する継続的な事前トレーニングが必要であり、その後、人間の指示や好みに従ってこの知識を適用するトレーニングが必要です。
ただし、この方法では、知識の活用に対する意識の欠如により、知識の暗記が非効率になる可能性があり、限られたトレーニング サンプルで知識の活用と形式の調整を同時に学習するという大きな要求が LLM に課せられます。
LLM のドメイン適応を促進するために、このプロセスを改訂し、Mix-CPT と呼ばれる、ドメイン知識の学習と一般的なフォーマット調整を含む新しいドメイン適応フレームワークを提案します。
具体的には、まず知識混合継続事前研修を実施し、知識の暗記と活用を並行して行い、相互強化を図ります。
継続的な事前トレーニング プロセス中の致命的な忘却を回避するために、ロジット スワップ自己蒸留制約をさらに組み込みます。
その後、継続的な事前トレーニング中に獲得した知識と能力を活用して、いくつかの一般的なトレーニング サンプルを使用して命令の調整と調整を効率的に実行し、形式の調整を実現します。
広範な実験により、私たちが提案するMix-CPTフレームワークは、従来の適応方法と比較して、ターゲットドメインと一般ドメイン上のLLMのタスク解決能力を同時に向上させることができることが実証されています。

要約(オリジナル)

Adapting general large language models (LLMs) to specialized domains presents great challenges due to varied data distributions. This adaptation typically requires continual pre-training on massive domain-specific corpora to facilitate knowledge memorization, followed by training to apply this knowledge following human instructions and preferences. However, this method may result in inefficient knowledge memorization due to a lack of awareness of knowledge utilization and imposes substantial demands on LLMs to simultaneously learn knowledge utilization and format alignment with limited training samples. To facilitate the domain adaptation of LLM, we revise this process and propose a new domain adaptation framework including domain knowledge learning and general format alignment, called Mix-CPT. Specifically, we first conduct a knowledge mixture continual pre-training that concurrently focuses on knowledge memorization and utilization, allowing for mutual reinforcement. To avoid catastrophic forgetting during the continual pre-training process, we further incorporate a logit swap self-distillation constraint. Subsequently, leveraging the knowledge and capabilities acquired during continual pre-training, we efficiently perform instruction tuning and alignment with a few general training samples to achieve format alignment. Extensive experiments demonstrate that our proposed Mix-CPT framework can simultaneously improve the task-solving capabilities of LLMs on the target and general domains compared to the traditional adaptation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google