NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models

要約

事前に訓練されたモデルを微調整すると、最先端のパフォーマンスが得られますが、すべてのパラメーターを更新する場合は計算上費用がかかります。
低ランク適応（LORA）などのパラメーター効率の高い微調整（PEFT）メソッドは、事前に訓練された重量を凍結し、低ランクマトリックスを導入することにより、これに対処します。
ただし、LORAは低ランクの分解に依存しているため、複雑な非線形ダイナミクスと最適な最適化軌跡をキャプチャするのに苦労し、完全に微調整されていない非効率的なパラメーター利用に比べてパフォーマンスギャップをもたらします。
これらの問題を克服するために、軽量のニューラルネットワークを使用して事前に訓練された重量の非線形変換を学習する非線形PEFTアプローチであるきちんとしたPEFTアプローチを提案し、それにより累積重量の更新をよりよく近似します。
私たちの理論分析は、同等の表現性を維持しながら、LORAよりも効率が大きくなることを示しています。
4つのベンチマークと20を超えるデータセットでの広範な実験は、視覚タスクとテキストタスクの両方で最先端のベースラインを著しく上回ることがきれいであることを示しています。

要約(オリジナル)

Fine-tuning pre-trained models often yields state-of-the-art performance but is computationally expensive when updating all parameters. Parameter-efficient fine-tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), address this by freezing pre-trained weights and introducing low-rank matrices. However, because LoRA relies on low-rank decomposition, it struggles to capture complex nonlinear dynamics and optimal optimization trajectories, resulting in a performance gap relative to full fine-tuning and inefficient parameter utilization. To overcome these issues, we propose NEAT, a nonlinear PEFT approach that employs a lightweight neural network to learn a nonlinear transformation of the pre-trained weights, thereby better approximating cumulative weight updates. Our theoretical analysis shows that NEAT achieves greater efficiency than LoRA while maintaining equivalent expressivity. Extensive experiments on four benchmarks and over twenty datasets demonstrate that NEAT significantly outperforms state-of-the-art baselines in both vision and text tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google