Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors

要約

基礎モデルは、さまざまなドメインで大きな成功を収めています。
ただし、彼らの膨大な計算とストレージの複雑さにより、これらのモデルは微調整を困難にし、実際にも適用できません。
最近の研究では、フーリエドメインでのトレーニングは、モデルのパフォーマンスとトレーニングパラメーターの数の両方の点で効果的な微調整方法になる可能性があることが示されています。
この作業では、インターリーブ循環液と斜めのマトリックスの積を通じて、因数分解によって複雑さをさらに減らすことを提案します。
さらに、循環マトリックスをブロックに分割することにより、非二乗微調整ウェイトの場合に対処します。
私たちの方法は、重量変化マトリックスの構築を回避し、2D FFTの代わりに1D高速フーリエ変換（FFT）を利用します。
実験結果は、この方法が、フローティングポイント操作がはるかに少ない（FLOPS）とトレーニング可能なパラメーターの数を持つさまざまなタスクで同様またはより良いパフォーマンスを達成することを示しています。

要約(オリジナル)

Foundation models have achieved tremendous success in different domains. However, their huge computation and storage complexity make these models difficult to fine-tune and also less applicable in practice. Recent study shows training in Fourier domain can be an effective fine-tuning method in terms of both model performance and number of training parameters. In this work, we propose to further reduce the complexity by the factorization through the product of interleaved circulant and diagonal matrices. In addition, we address the case of non-square fine-tuning weights by partitioning the circulant matrix into blocks. Our method avoids the construction of weight change matrix and utilizes 1D fast Fourier transform (FFT) instead of 2D FFT. Experimental results show that our method achieves similar or better performance across various tasks with much less floating-point operations (FLOPs) and the number of trainable parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google