Revisiting the Parameter Efficiency of Adapters from the Perspective of Precision Redundancy

要約

コンピューター ビジョンにおける現在の最先端の結果は、事前にトレーニングされた大規模なビジョン モデルの微調整に部分的に依存しています。
しかし、モデル サイズが急激に増大するにつれ、タスクごとに個別のネットワーク コピーを保存する必要がある従来の完全な微調整では、ストレージと送信のオーバーヘッドがますます増大します。
アダプターベースのパラメーター効率的チューニング (PET) メソッドは、フリーズされた事前トレーニング モデルに挿入された軽量アダプターをチューニングすることで、この課題に対処します。
このペーパーでは、アダプターの効率をさらに高め、タスク固有の微調整されたネットワークを格納するために必要な新たな最小サイズに到達する方法を調査します。
アダプターのパラメーターが平坦な極小値に収束するという観察からインスピレーションを得て、アダプターがパラメーター空間のノイズに耐性があることがわかりました。これは、アダプターが低い数値精度にも耐性があることを意味します。
低精度アダプターをトレーニングするために、量子化誤差を最小限に抑える計算効率の高い量子化方法を提案します。
広範な実験を通じて、低精度アダプターによるパフォーマンスの低下は最小限であり、アダプターには 1 ビットの精度でも十分であることがわかりました。
実験結果は、1 ビット アダプターが、必要なストレージ サイズを最小限に抑えながら、VTAB-1K ベンチマークと少数ショット FGVC タスクの両方で他のすべての PET メソッドよりも優れたパフォーマンスを発揮することを示しています。
私たちの発見は、PET における量子化技術の大きな可能性を初めて示し、アダプターベースの PET 法のパラメータ効率を高めるための一般的な解決策を提供します。
コード: https://github.com/JieShibo/PETL-ViT

要約(オリジナル)

Current state-of-the-art results in computer vision depend in part on fine-tuning large pre-trained vision models. However, with the exponential growth of model sizes, the conventional full fine-tuning, which needs to store a individual network copy for each tasks, leads to increasingly huge storage and transmission overhead. Adapter-based Parameter-Efficient Tuning (PET) methods address this challenge by tuning lightweight adapters inserted into the frozen pre-trained models. In this paper, we investigate how to make adapters even more efficient, reaching a new minimum size required to store a task-specific fine-tuned network. Inspired by the observation that the parameters of adapters converge at flat local minima, we find that adapters are resistant to noise in parameter space, which means they are also resistant to low numerical precision. To train low-precision adapters, we propose a computational-efficient quantization method which minimizes the quantization error. Through extensive experiments, we find that low-precision adapters exhibit minimal performance degradation, and even 1-bit precision is sufficient for adapters. The experimental results demonstrate that 1-bit adapters outperform all other PET methods on both the VTAB-1K benchmark and few-shot FGVC tasks, while requiring the smallest storage size. Our findings show, for the first time, the significant potential of quantization techniques in PET, providing a general solution to enhance the parameter efficiency of adapter-based PET methods. Code: https://github.com/JieShibo/PETL-ViT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google