FLoRA: Low-Rank Core Space for N-dimension

要約

人工知能では、事前トレーニングされた基礎モデルをさまざまな下流タスクに適応させることが普及しています。
タスクの数が膨大でコストが高いため、すべてのパラメータを調整することは現実的ではありません。
これを軽減するために、低ランクの調整など、よりリソース効率の高い方法で事前トレーニングされたモデルの重みを更新するいくつかの微調整手法が開発されました。
しかし、これらのメソッドのほとんどすべては線形の重みに焦点を当てており、4D のような高次元のパラメーター空間の複雑さを無視しています。
あるいは、一部の方法は、元の空間の変化を 2 次元に圧縮し、低ランクの行列分解を使用することで、高次元パラメータ空間に適応させることができます。
しかし、これらのアプローチは、関与する高次元空間の構造的完全性を破壊します。
さまざまな基礎モデルにわたる次元空間の多様性に取り組み、これらの空間内の変化をより正確に表現するために、このホワイトペーパーでは、さまざまな次元パラメータ空間向けに設計された、一般化されたパラメータ効率の高い微調整フレームワーク FLoRA を紹介します。
具体的には、FLoRA は Tucker 分解を利用して、各次元パラメータ空間の変化が元の空間と一貫した位相構造を維持する低ランクのコア空間に基づいていると主張します。
次に、このコア空間の変化を対応する重みとともにモデル化し、元の空間での変更を再構築します。
FLoRA は、元の N 次元パラメータ空間の変化の構造的完全性を効果的に保存し、同時にそれを低ランクのテンソル分解によって分解します。
コンピューター ビジョン、自然言語処理、マルチモーダル タスクに関する広範な実験により、FLoRA の有効性が検証されています。
コードは https://github.com/SJTU-DeepVisionLab/FLoRA で入手できます。

要約(オリジナル)

Adapting pre-trained foundation models for various downstream tasks has been prevalent in artificial intelligence. Due to the vast number of tasks and high costs, adjusting all parameters becomes unfeasible. To mitigate this, several fine-tuning techniques have been developed to update the pre-trained model weights in a more resource-efficient manner, such as through low-rank adjustments. Yet, almost all of these methods focus on linear weights, neglecting the intricacies of parameter spaces in higher dimensions like 4D. Alternatively, some methods can be adapted for high-dimensional parameter space by compressing changes in the original space into two dimensions and then employing low-rank matrix decomposition. However, these approaches destructs the structural integrity of the involved high-dimensional spaces. To tackle the diversity of dimensional spaces across different foundation models and provide a more precise representation of the changes within these spaces, this paper introduces a generalized parameter-efficient fine-tuning framework, FLoRA, designed for various dimensional parameter space. Specifically, utilizing Tucker decomposition, FLoRA asserts that changes in each dimensional parameter space are based on a low-rank core space which maintains the consistent topological structure with the original space. It then models the changes through this core space alongside corresponding weights to reconstruct alterations in the original space. FLoRA effectively preserves the structural integrity of the change of original N-dimensional parameter space, meanwhile decomposes it via low-rank tensor decomposition. Extensive experiments on computer vision, natural language processing and multi-modal tasks validate FLoRA’s effectiveness. Codes are available at https://github.com/SJTU-DeepVisionLab/FLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google