LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

要約

限られた計算コストで、事前トレーニングされた大規模言語モデル (LLM) のコンテキスト サイズを拡張する効率的な微調整アプローチである LongLoRA を紹介します。
通常、コンテキスト サイズが長い LLM のトレーニングは計算コストが高くつき、膨大なトレーニング時間と GPU リソースが必要になります。
たとえば、コンテキスト長 8192 でのトレーニングには、セルフ アテンション層で 2048 の 16 倍の計算コストが必要です。この論文では、LLM のコンテキスト拡張を 2 つの側面で高速化します。
一方で、推論中には高密度のグローバルな注意が必要ですが、モデルの微調整はまばらなローカルな注意によって効果的かつ効率的に行うことができます。
提案されたシフトされたスパース アテンション (S$^2$-Attn) は、コンテキスト拡張を効果的に有効にし、バニラ アテンションでの微調整と同様のパフォーマンスで、重要な計算の節約につながります。
特に、トレーニングではわずか 2 行のコードで実装できますが、推論ではオプションです。
一方、コンテキスト拡張の​​ためのパラメータ効率の高い微調整レジームを再検討します。
特に、コンテキスト拡張の​​ための LoRA は、トレーニング可能な埋め込みと正規化の前提下でうまく機能することがわかりました。
LongLoRA は、この改良された LoRA と S$^2$-Attn を組み合わせています。
LongLoRA は、7B/13B から 70B までの Llama2 モデルのさまざまなタスクで強力な経験的結果を示しています。
LongLoRA は、単一の 8x A100 マシン上で 4k コンテキストから 100k までの Llama2 7B、または 32k までの Llama2 70B を採用しています。
LongLoRA は、元のアーキテクチャを保持しながらモデルのコンテキストを拡張し、Flash-Attendant2 などのほとんどの既存の技術と互換性があります。
さらに、LongLoRA と長い命令に従う LongAlpaca データセットを使用して、教師あり微調整をさらに実行します。

要約(オリジナル)

We present LongLoRA, an efficient fine-tuning approach that extends the context sizes of pre-trained large language models (LLMs), with limited computation cost. Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. For example, training on the context length of 8192 needs 16x computational costs in self-attention layers as that of 2048. In this paper, we speed up the context extension of LLMs in two aspects. On the one hand, although dense global attention is needed during inference, fine-tuning the model can be effectively and efficiently done by sparse local attention. The proposed shifted sparse attention (S$^2$-Attn) effectively enables context extension, leading to non-trivial computation saving with similar performance to fine-tuning with vanilla attention. Particularly, it can be implemented with only two lines of code in training, while being optional in inference. On the other hand, we revisit the parameter-efficient fine-tuning regime for context expansion. Notably, we find that LoRA for context extension works well under the premise of trainable embedding and normalization. LongLoRA combines this improved LoRA with S$^2$-Attn. LongLoRA demonstrates strong empirical results on various tasks on Llama2 models from 7B/13B to 70B. LongLoRA adopts Llama2 7B from 4k context to 100k, or Llama2 70B to 32k on a single 8x A100 machine. LongLoRA extends models’ context while retaining their original architectures, and is compatible with most existing techniques, like Flash-Attention2. In addition, we further conduct supervised fine-tuning with LongLoRA and our long instruction-following LongAlpaca dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google