Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages

要約

近年、オープンソースの大規模言語モデル (LLM) の開発が急速に進んでいます。
それにもかかわらず、データの制約により、ほとんどのオープンソース LLM の機能は主に英語に重点を置いています。
この問題に対処するために、チャット ベクトルの概念を導入して、事前トレーニングされた言語モデルに、簡単なモデル演算による命令追従と人間の価値観の調整を装備します。
チャット ベクトルは、事前トレーニングされた基本モデル (LLaMA2 など) の重みを、対応するチャット モデル (LLaMA2 チャットなど) の重みから減算することによって導出されます。
継続的な事前トレーニングされたモデルの重みにチャット ベクトルを追加するだけで、さらなるトレーニングを必要とせずに、モデルに新しい言語でのチャット機能を与えることができます。
私たちの実証研究は、指示への従うこと、有害性の軽減、複数ターンの対話という 3 つの異なる側面からチャット ベクトルの優れた有効性を実証しています。
さらに、私たちのアプローチの適応性を示すために、さまざまな言語、基本モデル、チャット ベクトルを含むように実験を拡張しました。
この結果は、チャット ベクトルのシンプルさ、有効性、幅広い適用性を強調し、チャット ベクトルが事前トレーニングされた言語モデルで会話機能を効率的に有効にするための魅力的なソリューションであることを示しています。

要約(オリジナル)

Recently, the development of open-source large language models (LLMs) has advanced rapidly. Nevertheless, due to data constraints, the capabilities of most open-source LLMs are primarily focused on English. To address this issue, we introduce the concept of chat vector to equip pre-trained language models with instruction following and human value alignment via simple model arithmetic. The chat vector is derived by subtracting the weights of a pre-trained base model (e.g. LLaMA2) from those of its corresponding chat model (e.g. LLaMA2-chat). By simply adding the chat vector to a continual pre-trained model’s weights, we can endow the model with chat capabilities in new languages without the need for further training. Our empirical studies demonstrate the superior efficacy of the chat vector from three different aspects: instruction following, toxicity mitigation, and multi-turn dialogue. Moreover, to showcase the adaptability of our approach, we extend our experiments to encompass various languages, base models, and chat vectors. The results underscore the chat vector’s simplicity, effectiveness, and wide applicability, making it a compelling solution for efficiently enabling conversational capabilities in pre-trained language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google