Adaptive Principal Components Allocation with the $\ell_{2,g}$-regularized Gaussian Graphical Model for Efficient Fine-Tuning Large Models

要約

この研究では、ガウス グラフィカル モデル (GGM) に基づく新しいパラメータ効率の良い微調整 (PEFT) アプローチを提案します。これは、私たちの知る限り、PEFT タスクへの GGM の最初の適用となります。
提案された方法は、$\ell_{2,g}$-norm を利用して、重要なパラメーターを効果的に選択し、グローバルな依存関係をキャプチャします。
結果として生じる非凸最適化問題は、ブロック座標降下法 (BCD) アルゴリズムを使用して効率的に解決されます。
RoBERTa-Base [18] を微調整するための GLUE ベンチマーク [24] の実験結果は、大幅に少ないトレーニング可能なパラメーターで競争力のあるパフォーマンスを達成する、提案されたアプローチの有効性を示しています。
この作業のコードは、https://github.com/jzheng20/Course Projects.git で入手できます。

要約(オリジナル)

In this work, we propose a novel Parameter-Efficient Fine-Tuning (PEFT) approach based on Gaussian Graphical Models (GGMs), marking the first application of GGMs to PEFT tasks, to the best of our knowledge. The proposed method utilizes the $\ell_{2,g}$-norm to effectively select critical parameters and capture global dependencies. The resulting non-convex optimization problem is efficiently solved using a Block Coordinate Descent (BCD) algorithm. Experimental results on the GLUE benchmark [24] for fine-tuning RoBERTa-Base [18] demonstrate the effectiveness of the proposed approach, achieving competitive performance with significantly fewer trainable parameters. The code for this work is available at: https://github.com/jzheng20/Course projects.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google