BoRA: Bi-dimensional Weight-Decomposed Low-Rank Adaptation

要約

近年、低ランク適応 (LoRA) のようなパラメーター効率の良い微調整 (PEFT) 手法により、大規模な事前トレーニング済みモデルの適応性が大幅に強化されました。
重み分解低ランク適応 (DoRA) は、重み行列の大きさと方向の成分を分離することで LoRA を改善し、優れたパフォーマンスをもたらします。
ただし、DoRA の改善は垂直方向に限定されており、結果として水平方向と垂直方向の間で非対称なパターンが発生します。
このペーパーでは、水平方向と垂直方向の次元にわたる対称的な特性を特徴とする、LoRA と DoRA の革新的な拡張である BoRA を紹介します。
私たちのアプローチは、列方向と行方向の両方の大きさを調整することにより、重み行列を対称的に最適化します。
広範な実験により、BoRA が LoRA や DoRA を含む最先端の PEFT 手法を上回り、さまざまなベンチマークにわたって優れた結果を達成することが実証されました。

要約(オリジナル)

In recent years, Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) have significantly enhanced the adaptability of large-scale pre-trained models. Weight-Decomposed Low-Rank Adaptation (DoRA) improves upon LoRA by separating the magnitude and direction components of the weight matrix, leading to superior performance. However, DoRA’s improvements are limited to the vertical dimension, resulting in an asymmetrical pattern between horizontal and vertical dimensions. This paper introduces BoRA, an innovative extension of LoRA and DoRA, characterized by symmetrical properties across horizontal and vertical dimensions. Our approach optimizes the weight matrix symmetrically by adjusting both column-wise and row-wise magnitudes. Extensive experiments demonstrate that BoRA surpasses state-of-the-art PEFT methods, including LoRA and DoRA, achieving superior results across various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google