PEMA: An Offsite-Tunable Plug-in External Memory Adaptation for Language Models

要約

事前トレーニングされた言語モデル (PLM) は、さまざまなダウンストリーム NLP タスクで優れたパフォーマンスを示します。
ただし、大規模な言語モデルを事前トレーニングするには、大量のメモリとトレーニング コンピューティングが必要です。
さらに、大量のリソースが必要となるため、PLM の重みの多くは機密扱いとなります。
その結果、ユーザーは特定のタスクを微調整するためにモデル所有者とデータを共有する必要があります。
この制限を克服するために、パラメータ効率微調整 (PEFT) 手法であるプラグイン外部メモリ アダプテーション (PEMA) を導入し、すべての重みにアクセスする必要なく PLM 微調整を可能にします。
PEMA は、推論中にテスト データのコンテキスト表現と統合して、ダウンストリーム タスクを実行します。
外部メモリを使用して、ターゲット トークンにマップされた PLM 生成のコンテキスト表現を保存します。
私たちの方法では、効率を高めるために PLM の最終層で LoRA のようなボトルネック アダプターの重み行列を利用します。
私たちのアプローチには、生成品質を向上させるための新しい補間戦略である段階的アンローリングも含まれています。
私たちは、機械翻訳とスタイル転送のための構文データセットと実際のデータセットの実験を通じて PEMA の有効性を検証します。
私たちの調査結果は、PEMA がトレーニングのメモリ効率と待ち時間効率において他の PEFT アプローチよりも優れており、文の意味を維持し、適切な言語とスタイルを生成する点でも優れていることを示しています。

要約(オリジナル)

Pre-trained language models (PLMs) show impressive performance in various downstream NLP tasks. However, pre-training large language models demands substantial memory and training compute. Furthermore, due to the substantial resources required, many PLM weights are confidential. Consequently, users are compelled to share their data with model owners for fine-tuning specific tasks. To overcome the limitations, we introduce Plug-in External Memory Adaptation (PEMA), a Parameter-Efficient Fine-Tuning (PEFT) method, enabling PLM fine-tuning without requiring access to all the weights. PEMA integrates with context representations from test data during inference to perform downstream tasks. It uses external memory to store PLM-generated context representations mapped with target tokens. Our method utilizes weight matrices of LoRA-like bottlenecked adapter in the PLM’s final layer to enhance efficiency. Our approach also includes Gradual Unrolling, a novel interpolation strategy to improve generation quality. We validate PEMA’s effectiveness through experiments on syntactic and real datasets for machine translation and style transfer. Our findings show that PEMA outperforms other PEFT approaches in memory and latency efficiency for training, and also excels in maintaining sentence meaning and generating appropriate language and styles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google