Composing Parameter-Efficient Modules with Arithmetic Operations

要約

従来の完全な微調整に代わる効率的な方法として、パラメータ効率の良い微調整 (PEFT) が、事前トレーニングされた言語モデルを適応させるための一般的な方法になりつつあります。
PEFT では、基礎となる事前トレーニング済み言語モデルは変更されないまま、軽量モジュールが各データセットで学習され、その結果、さまざまなドメインやタスクに適用されたときに多様なスキルを表す複数のコンパクトなモジュールが生成されます。
この論文では、重み空間での線形算術演算を通じてこれらのパラメータ効率の高いモジュールを構成し、それによってさまざまなモジュール機能を統合することを提案します。
具体的には、まずモジュールの加算演算子と否定演算子を定義し、次にこれら 2 つの基本演算子をさらに組み合わせて柔軟な算術演算を実行します。
私たちのアプローチは \emph{追加のトレーニングを必要とせず}、非常に柔軟なモジュール構成を可能にします。
さまざまな算術演算を適用して、(1) 分布一般化、(2) マルチタスク、(3) 非学習、および (4) ドメイン転送のためのパラメータ効率の高いモジュールを構成します。
さらに、LLaMA に基づいて命令調整された最新の大規模言語モデルである Alpaca-LoRA を無毒化するアプローチを拡張します。
経験的な結果は、私たちのアプローチが、すべての設定にわたって既存のモジュールを大幅に上回る、パラメーター効率の高い新しい効果的なモジュールを生成することを示しています。

要約(オリジナル)

As an efficient alternative to conventional full finetuning, parameter-efficient finetuning (PEFT) is becoming the prevailing method to adapt pretrained language models. In PEFT, a lightweight module is learned on each dataset while the underlying pretrained language model remains unchanged, resulting in multiple compact modules representing diverse skills when applied to various domains and tasks. In this paper, we propose to compose these parameter-efficient modules through linear arithmetic operations in the weight space, thereby integrating different module capabilities. Specifically, we first define addition and negation operators for the module, and then further compose these two basic operators to perform flexible arithmetic. Our approach requires \emph{no additional training} and enables highly flexible module composition. We apply different arithmetic operations to compose the parameter-efficient modules for (1) distribution generalization, (2) multi-tasking, (3) unlearning, and (4) domain transfer. Additionally, we extend our approach to detoxify Alpaca-LoRA, the latest instruction-tuned large language model based on LLaMA. Empirical results demonstrate that our approach produces new and effective parameter-efficient modules that significantly outperform existing ones across all settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google