UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models

要約

このホワイトペーパーでは、大規模な言語モデル（LLM）の新しいパラメーター効率の高い微調整（PEFT）アプローチである均一な直交再発現適応（UORA）を紹介します。
UORAは、低ランク近似方法を活用してトレーニング可能なパラメーターの数を減らすことにより、最先端のパフォーマンスとパラメーターの効率を達成します。
LoraやVeraなどの既存の方法とは異なり、UORAは、ベクトルの大きさヒューリスティックに導かれた、凍結投影マトリックスの行と柱を選択的に再現する補間ベースの再拡張メカニズムを採用しています。
これにより、LORAと比較してトレーニング可能なパラメーターが大幅に少なくなり、計算および貯蔵効率のVERAを上回ります。
さまざまなベンチマークにわたる包括的な実験は、無視できる計算オーバーヘッドで競争力のある微調整パフォーマンスを達成する上でのUORAの優位性を示しています。
接着剤とE2Eベンチマークでのパフォーマンスと、命令調整の大規模な言語モデルと画像分類モデルの有効性を示します。
私たちの貢献は、LLMのスケーラブルでリソース効率の高い微調整のための新しいパラダイムを確立します。

要約(オリジナル)

This paper introduces Uniform Orthogonal Reinitialization Adaptation (UORA), a novel parameter-efficient fine-tuning (PEFT) approach for Large Language Models (LLMs). UORA achieves state-of-the-art performance and parameter efficiency by leveraging a low-rank approximation method to reduce the number of trainable parameters. Unlike existing methods such as LoRA and VeRA, UORA employs an interpolation-based reparametrization mechanism that selectively reinitializes rows and columns in frozen projection matrices, guided by the vector magnitude heuristic. This results in substantially fewer trainable parameters compared to LoRA and outperforms VeRA in computation and storage efficiency. Comprehensive experiments across various benchmarks demonstrate UORA’s superiority in achieving competitive fine-tuning performance with negligible computational overhead. We demonstrate its performance on GLUE and E2E benchmarks and its effectiveness in instruction-tuning large language models and image classification models. Our contributions establish a new paradigm for scalable and resource-efficient fine-tuning of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google