Sensi-BERT: Towards Sensitivity Driven Fine-Tuning for Parameter-Efficient BERT

要約

大規模な事前トレーニング済み言語モデルは、テキスト分類や質問応答などのさまざまな下流タスクのパフォーマンスが向上し、わずか数エポックの微調整だけで済むため、最近大きな注目を集めています。
ただし、モデル サイズが大きいため、リソースに制約のあるエッジ デバイスでのアプリケーションが禁止されることがよくあります。
パラメーター効率の高い BERT モデルを生成する既存のソリューションは、主に計算を徹底的に行うトレーニングと微調整に依存しています。
さらに、パフォーマンスのギャップを軽減するために、追加の計算負荷の高いモデルに依存することがよくあります。
本稿では、感度主導型の BERT モデルの効率的な微調整である Sensi-BERT を紹介します。Sensi-BERT は、既製の事前トレーニング済み BERT モデルを使用して、下流タスク用のパラメーター効率の高いモデルを生成できます。
特に、感度解析を実行して個々のパラメーター テンソルをランク付けし、指定されたパラメーターまたは FLOP バジェットの微調整中にそれに応じてそれらをトリミングするために使用されます。
私たちの実験では、MNLI、QQP、QNLI、SST-2、SQuAD などのさまざまなダウンストリーム タスクにわたる Sensi-BERT の有効性が示されており、さまざまな代替手段と比較して、同等またはより少ないパラメーター バジェットで優れたパフォーマンスを示しています。

要約(オリジナル)

Large pre-trained language models have recently gained significant traction due to their improved performance on various down-stream tasks like text classification and question answering, requiring only few epochs of fine-tuning. However, their large model sizes often prohibit their applications on resource-constrained edge devices. Existing solutions of yielding parameter-efficient BERT models largely rely on compute-exhaustive training and fine-tuning. Moreover, they often rely on additional compute heavy models to mitigate the performance gap. In this paper, we present Sensi-BERT, a sensitivity driven efficient fine-tuning of BERT models that can take an off-the-shelf pre-trained BERT model and yield highly parameter-efficient models for downstream tasks. In particular, we perform sensitivity analysis to rank each individual parameter tensor, that then is used to trim them accordingly during fine-tuning for a given parameter or FLOPs budget. Our experiments show the efficacy of Sensi-BERT across different downstream tasks including MNLI, QQP, QNLI, SST-2 and SQuAD, showing better performance at similar or smaller parameter budget compared to various alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google