Structured Pruning Adapters

要約

アダプターは、微調整に代わるパラメーター効率の良い代替手段であり、凍結されたベース ネットワークを増強して新しいタスクを学習します。
しかし、適応モデルの推論は、対応する微調整モデルよりも遅くなることがよくあります。
これを改善するために、構造化プルーニング アダプター (SPA) を提案します。これは、小さなパラメーター セットと構造化プルーニングを使用してネットワークを高速化および特殊化する、圧縮、タスク切り替えネットワーク アダプターのファミリーです。
具体的には、チャネルベースの SPA を提案し、複数のコンピューター ビジョン ベンチマークで一連の剪定方法を使用して評価します。
微調整を伴う通常の構造化プルーニングと比較して、当社のチャネル SPA は、90% のプルーニングされた重みで半分のパラメーターを使用しながら、平均で 6.9% 精度を向上させます。
あるいは、1.6% 低い精度で 70% の剪定を行い、17 分の 1 のパラメーターで適応を学習できます。
同様に、ブロック SPA に必要なパラメーターは、微調整によるプルーニングよりもはるかに少なくなります。
実験的なコードとアダプターの Python ライブラリは、github.com/lukashedegaard/structured-pruning-adapters で入手できます。

要約(オリジナル)

Adapters are a parameter-efficient alternative to fine-tuning, which augment a frozen base network to learn new tasks. Yet, the inference of the adapted model is often slower than the corresponding fine-tuned model. To improve on this, we propose Structured Pruning Adapters (SPAs), a family of compressing, task-switching network adapters, that accelerate and specialize networks using tiny parameter sets and structured pruning. Specifically, we propose a channel-based SPA and evaluate it with a suite of pruning methods on multiple computer vision benchmarks. Compared to regular structured pruning with fine-tuning, our channel-SPAs improve accuracy by 6.9% on average while using half the parameters at 90% pruned weights. Alternatively, they can learn adaptations with 17x fewer parameters at 70% pruning with 1.6% lower accuracy. Similarly, our block-SPA requires far fewer parameters than pruning with fine-tuning. Our experimental code and Python library of adapters are available at github.com/lukashedegaard/structured-pruning-adapters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google