InstructionCP: A fast approach to transfer Large Language Models into target language

要約

近年の大規模言語モデル (LLM) の急速な開発は主に英語に焦点を当てており、その結果、モデルは英語のみで応答するようになりました。
これらのモデルを他の言語に適応させるには、多くの場合、継続的事前トレーニング (CP) が採用され、その後、会話能力を維持するために教師あり微調整 (SFT) が続きます。
ただし、CP と SFT は、有害なコンテンツをフィルタリングするモデルの機能を低下させる可能性があります。
私たちは、新しい言語を習得する際の会話能力の低下を防ぐために、命令タグを CP プロセスに統合する命令継続的事前トレーニング (InsCP) を提案します。
私たちの実験は、InsCP が会話能力とヒューマン フィードバックからの強化学習 (RLHF) 能力を保持していることを示しています。
言語の整合性、信頼性、知識ベンチマークに関する経験的評価により、InsCP の有効性が確認されています。
特に、このアプローチでは、高品質の命令追従データの 1 億トークンしか必要としないため、リソースの消費が削減されます。

要約(オリジナル)

The rapid development of large language models (LLMs) in recent years has largely focused on English, resulting in models that respond exclusively in English. To adapt these models to other languages, continual pre-training (CP) is often employed, followed by supervised fine-tuning (SFT) to maintain conversational abilities. However, CP and SFT can reduce a model’s ability to filter harmful content. We propose Instruction Continual Pre-training (InsCP), which integrates instruction tags into the CP process to prevent loss of conversational proficiency while acquiring new languages. Our experiments demonstrate that InsCP retains conversational and Reinforcement Learning from Human Feedback (RLHF) abilities. Empirical evaluations on language alignment, reliability, and knowledge benchmarks confirm the efficacy of InsCP. Notably, this approach requires only 0.1 billion tokens of high-quality instruction-following data, thereby reducing resource consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google