Bone: Block-Affine Adaptation of Large Language Models

要約

低ランク適応 (LoRA) は、元の重みを凍結し、低ランクの行列のみをトレーニングすることで顕著なトレーニング結果を達成し、LLM の主要な微調整方法としての地位を確立しました。
フルパラメータトレーニングに近いパフォーマンスを追求するために、LoRA+、PISSA、Olora、LoRA-GA などの一連の LoRA バリアントが登場しました。
この論文では、ブロック アフィン アダプテーション (ボーン) と呼ばれる、LoRA とは異なる新しい PEFT 技術を紹介します。
元の重みを重み更新用の単一の行列を共有する複数の部分空間に分割することで、Bone はトレーニング可能な行列をゼロに初期化する必要があるため、プロセスを簡素化し、一部の LoRA バリアントのような複雑な初期化の必要性を排除します。
LoRA と比較して、Bone はメモリ使用量を大幅に削減し、より高速な計算を実現します。
NLU タスクと NLG タスクの両方を評価すると、Bone が LoRA およびそのバリアントよりも大幅に優れていることが実証されています。
Pissa からインスピレーションを得て、私たちは元の重みからの情報をより有効に活用するために「ウェイト ガイド」理論をさらに提案しました。
「ウェイトガイド」とボーンを統合することで、ブロックアフィン変換（Bat）と呼ばれる新しい構造を開発し、アブレーション実験により「ウェイトガイド」の有効性が確認されました。

要約(オリジナル)

Low-Rank Adaptation (LoRA) has achieved remarkable training results by freezing the original weights and training only low-rank matrices, establishing itself as the predominant fine-tuning method for LLMs. In pursuit of performance closer to full-parameter training, a series of LoRA variants have emerged, such as LoRA+, PISSA, Olora, and LoRA-GA. This paper introduces a novel PEFT technique distinct from LoRA, called Block-Affine Adaptation (Bone). By dividing the original weights into multiple subspaces that share a single matrix for weight updates, Bone simplifies the process by requiring the trainable matrix to be initialized to zero, eliminating the need for complex initialization as in some LoRA variants. Compared to LoRA, Bone significantly reduces memory usage and achieves faster computation. Evaluation of both NLU and NLG tasks demonstrates that Bone substantially outperforms LoRA and its variants. Inspired by Pissa, we further proposed the “Weight Guide” theory to better utilize the information from the original weights. By integrating “Weight Guide” with Bone, we developed a new structure called Block-Affine Transformation (Bat), and ablation experiments confirmed the effectiveness of “Weight Guide”.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google