Bone: Block Affine Transformation as Parameter Efficient Fine-tuning Methods for Large Language Models

要約

低ランク適応 (LoRA) は、元の重みを凍結し、低ランクの行列のみをトレーニングすることで顕著なトレーニング結果を達成し、LLM の主要な微調整方法としての地位を確立しました。
フルパラメータトレーニングに近いパフォーマンスを追求するために、LoRA+、PISSA、Olora、LoRA-GA などの一連の LoRA バリアントが登場しました。
ただし、これらの改善により、モデル トレーニングの初期設定が複雑になり、初期化時間が増加します。
さらに重要なのは、元の重量情報の内部相互作用を見落としていることです。
これらの問題に対処するために、トレーニング中に元の重みを介してトレーニング可能な行列を継続的にガイドし、重み情報の利用を強化することを目的とした新しい理論「重みガイド」を導入します。
この理論に基づいて、Bone (\textbf{B}l\textbf{o}ck Affi\textbf{ne}) と呼ばれる新しい PEFT 手法を設計しました。これは、元の重量情報の利用を強化するだけでなく、内部接続も強調します。
これにより、収束が速くなり、データのフィッティングが向上します。
2 つの異なる LLM アーキテクチャ (LLaMA2、RWKV6) とさまざまなパラメーター スケールにわたる実験的な比較により、ボーン構造が複雑な初期化を必要とせずに迅速な収束と優れたデータ フィッティングを実現できることが実証されました。
たとえば、MetaMathQA データセットで LLaMA2-7B を微調整し、GSM8k と数学ベンチマークで検証した場合、Bone はそれぞれ 49.36 と 8.8 の微調整スコアを達成し、PISSA を 5.84\% と 1.96\% 上回りました。

要約(オリジナル)

Low-Rank Adaptation (LoRA) has achieved remarkable training results by freezing the original weights and training only low-rank matrices, establishing itself as the predominant fine-tuning method for LLMs. In pursuit of performance closer to full-parameter training, a series of LoRA variants have emerged, such as LoRA+, PISSA, Olora, and LoRA-GA. However, these improvements complicate the initial setup of model training and increase initialization time. More importantly, they overlook the internal interactions of the original weight information. To address these issues, we introduce a novel theory, “Weight Guide” aimed at continuously guiding trainable matrices through the original weights during training to enhance the utilization of weight information. Based on this theory, we designed a new PEFT technique called Bone (\textbf{B}l\textbf{o}ck Affi\textbf{ne}), which not only enhances the utilization of original weight information but also emphasizes the internal connections between weights, leading to faster convergence and better data fitting. Experimental comparisons across two different LLM architectures (LLaMA2, RWKV6) and various parameter scales demonstrate that the Bone structure can achieve rapid convergence and superior data fitting without the need for complex initialization. For example, when fine-tuning LLaMA2-7B on the MetaMathQA dataset and validating on GSM8k and math benchmarks, Bone achieved fine-tuning scores of 49.36 and 8.8, respectively, outperforming PISSA by 5.84\% and 1.96\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google