An Empirical Study on the Transferability of Transformer Modules in Parameter-Efficient Fine-Tuning

要約

パラメータ効率の高い微調整アプローチは、最近多くの注目を集めています。
トレーニング可能な重みの数がかなり少ないため、これらの方法はスケーラビリティと計算効率をもたらすことができます。
このホワイトペーパーでは、最適なサブネットワークを探し、事前トレーニング済みのモデルから下流のタスクに知識を転送する際のさまざまな変換モジュールの機能を調査します。
私たちの実験結果は、BERT のすべての変圧器モジュールが勝利チケットとして機能できることを示唆しています。ネットワークの残りの部分を凍結したまま、特定の各モジュールを微調整すると、完全な微調整に匹敵するパフォーマンスにつながる可能性があります。
さまざまなモジュールの中で、LayerNorms は、トレーニング可能な重みが制限された状態で知識を伝達するための最高の能力を発揮し、レイヤーごとの分析ですべてのパラメーターの 0.003% のみを使用して、さまざまなターゲット タスクで許容できるパフォーマンスを示します。
それらの有効性の背後にある理由について、それらの注目すべきパフォーマンスは、事前トレーニング済みBERTの他のモジュールの重みと比較して、それらの大きな重みに起因する可能性があると主張します.

要約(オリジナル)

Parameter-efficient fine-tuning approaches have recently garnered a lot of attention. Having considerably lower number of trainable weights, these methods can bring about scalability and computational effectiveness. In this paper, we look for optimal sub-networks and investigate the capability of different transformer modules in transferring knowledge from a pre-trained model to a downstream task. Our empirical results suggest that every transformer module in BERT can act as a winning ticket: fine-tuning each specific module while keeping the rest of the network frozen can lead to comparable performance to the full fine-tuning. Among different modules, LayerNorms exhibit the best capacity for knowledge transfer with limited trainable weights, to the extent that, with only 0.003% of all parameters in the layer-wise analysis, they show acceptable performance on various target tasks. On the reasons behind their effectiveness, we argue that their notable performance could be attributed to their high-magnitude weights compared to that of the other modules in the pre-trained BERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google