Vocabulary-level Memory Efficiency for Language Model Fine-tuning

要約

言語モデル（LM）の微調整の広範なメモリフットプリントは、研究者と実践者の両方にとって課題となります。
LMSは埋め込みマトリックスを使用して広範な語彙を表し、モデルパラメーターのかなりの割合を形成します。
メモリ効率の高い微調整に向けた以前の作業は、トレーニング可能なパラメーターの数を最小限に抑えることに焦点を当てていますが、埋め込みマトリックスのメモリフットプリントを減らすことはまだ調査されていません。
最初に、語彙のかなりの割合が微調整中は未使用のままであることを実証します。
次に、メモリの使用量を最小限に抑えるために、この発見を活用するシンプルで効果的なアプローチを提案します。
私たちのアプローチは、幅広いモデルとタスクにわたってメモリ使用量を大幅に削減することを示しています。
特に、私たちのアプローチは、計算リソースのより効率的な使用を可能にしながら、下流のタスクパフォ​​ーマンスに影響を与えません。

要約(オリジナル)

The extensive memory footprint of language model (LM) fine-tuning poses a challenge for both researchers and practitioners. LMs use an embedding matrix to represent extensive vocabularies, forming a substantial proportion of the model parameters. While previous work towards memory-efficient fine-tuning has focused on minimizing the number of trainable parameters, reducing the memory footprint of the embedding matrix has yet to be explored. We first demonstrate that a significant proportion of the vocabulary remains unused during fine-tuning. We then propose a simple yet effective approach that leverages this finding to minimize memory usage. We show that our approach provides substantial reductions in memory usage across a wide range of models and tasks. Notably, our approach does not impact downstream task performance, while allowing more efficient use of computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google