ElChat: Adapting Chat Language Models Using Only Target Unlabeled Language Data

要約

語彙拡張（VE）は、新しいトークンを追加し、ターゲットデータの事前トレーニングを継続することにより、大規模な言語モデル（LLM）の言語適応に対する事実上のアプローチです。
これは、ラベル付けされていないデータでトレーニングされたベースモデルに効果的ですが、ラベル付きの会話データを介して命令に従うように訓練されたチャットモデルに課題をもたらします。
後者をターゲットの非標識データに直接VEで適応させると、チャット能力が忘れられる場合があります。
理想的ですが、ターゲットチャットデータは、リソースの低い言語で作成するのに利用できないか、費用がかかることが多く、機械翻訳された代替品は常に効果的ではありません。
この問題に対処するために、同じ家族のベースとチャットモデルを使用して提案された以前の作業。
このメソッドは、最初にターゲットの非標識データにVEを使用してベースLLMを適応させ、次にソースベースモデルとチャットモデルの重量差から派生したチャットベクトル（CV）を追加することにより、チャットモデルに変換します。
ベースモデルなしで、ターゲットの非標識データにチャットモデルを直接適応させるチャットLLMSの新しい言語適応方法であるElchatを提案します。
ソースチャットモデルから情報を注入することにより、チャット能力を引き出します。
Elchatは、CVと比較して優れた英語、チャット、および指導に従う能力を達成しながら、より堅牢で競争力のあるターゲット言語と安全性のパフォーマンスを提供します。

要約(オリジナル)

Vocabulary expansion (VE) is the de-facto approach to language adaptation of large language models (LLMs) by adding new tokens and continuing pre-training on target data. While this is effective for base models trained on unlabeled data, it poses challenges for chat models trained to follow instructions through labeled conversation data. Directly adapting the latter with VE on target unlabeled data may result in forgetting chat abilities. While ideal, target chat data is often unavailable or costly to create for low-resource languages, and machine-translated alternatives are not always effective. To address this issue, previous work proposed using a base and chat model from the same family. This method first adapts the base LLM with VE on target unlabeled data and then converts it to a chat model by adding a chat vector (CV) derived from the weight difference between the source base and chat models. We propose ElChat, a new language adaptation method for chat LLMs that adapts a chat model directly on target unlabeled data, without a base model. It elicits chat abilities by injecting information from the source chat model. ElChat offers more robust and competitive target language and safety performance while achieving superior English, chat, and instruction-following abilities compared to CV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google