Straightforward Layer-wise Pruning for More Efficient Visual Adaptation

要約

パラメーター効率の高い転移学習 (PETL) は、限られたパラメーターを使用して事前トレーニングされた大規模なモデルを適応させることを目的としています。
ほとんどの PETL アプローチは、追加されたパラメーターを更新し、トレーニング中に事前トレーニングされた重みを凍結しますが、クロスドメイン データに対するタスク固有の深層の影響を最小限に抑えることが課題となります。PETL はそれらを変更できないため、結果としてモデル構造が冗長になります。
構造的な枝刈りにより、モデルの冗長性が効果的に削減されます。
ただし、一般的な枝刈り方法では、枝刈り率やデータに基づいて枝刈り構造が変化するため、保存されているパラメータが過度に増加することがよくあります。
ストレージ パラメーターのボリュームの問題を認識し、PETL 転送モデルをプルーニングするための、SLS と呼ばれる単純なレイヤーごとのプルーニング方法を提案します。
SLS は、各層の特徴の観点からパラメータを評価し、クラスタリング メトリクスを利用して、t-SNE を通じて取得された低次元空間のクラスタリング現象に基づいて現在のパラメータを評価することにより、情報に基づいた枝刈りの決定を容易にします。
私たちの研究では、プルーニング インデックスの保存に重点を置いたレイヤーごとのプルーニングが、ストレージ ボリュームの問題に対処していることが明らかになりました。
特に、主流のレイヤーごとの枝刈り手法は、パラメータの大部分が事前トレーニングされており、下流のデータセットとの関連性が限られているため、PETL 転送モデルのレイヤーの重要性を評価するのには適していない可能性があります。
最先端の PETL メソッドとの比較分析により、プルーニングされたモデルがモデルのスループットと精度の間で顕著なバランスを達成していることが実証されました。
さらに、SLS は、従来のプルーニング方法と比較して、プルーニングされたモデルの精度と速度を向上させながら、プルーニングされた構造の変化によって生じるストレージのオーバーヘッドを効果的に削減します。

要約(オリジナル)

Parameter-efficient transfer learning (PETL) aims to adapt large pre-trained models using limited parameters. While most PETL approaches update the added parameters and freeze pre-trained weights during training, the minimal impact of task-specific deep layers on cross-domain data poses a challenge as PETL cannot modify them, resulting in redundant model structures. Structural pruning effectively reduces model redundancy; however, common pruning methods often lead to an excessive increase in stored parameters due to varying pruning structures based on pruning rates and data. Recognizing the storage parameter volume issue, we propose a Straightforward layer-wise pruning method, called SLS, for pruning PETL-transferred models. By evaluating parameters from a feature perspective of each layer and utilizing clustering metrics to assess current parameters based on clustering phenomena in low-dimensional space obtained through t-SNE, SLS facilitates informed pruning decisions. Our study reveals that layer-wise pruning, with a focus on storing pruning indices, addresses storage volume concerns. Notably, mainstream Layer-wise pruning methods may not be suitable for assessing layer importance in PETL-transferred models, where the majority of parameters are pre-trained and have limited relevance to downstream datasets. Comparative analysis against state-of-the-art PETL methods demonstrates that the pruned model achieved a notable balance between model throughput and accuracy. Moreover, SLS effectively reduces storage overhead arising from varying pruned structures while enhancing the accuracy and speed of pruned models compared to conventional pruning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google