Healing Powers of BERT: How Task-Specific Fine-Tuning Recovers Corrupted Language Models

要約

BERT のような言語モデルは、一般データに対する広範な事前トレーニングにより、文分類タスクに優れていますが、パラメータ破損に対する堅牢性は未調査です。
これをよりよく理解するために、言語モデルが「壊れた」場合、つまりパラメータの一部が破損し、その後微調整によって回復した場合に何が起こるかを見ていきます。
さまざまなレベルで戦略的に BERT 亜種を破損させると、破損したモデルが元のパフォーマンスを完全に回復するのに苦労し、破損が大きくなるとより深刻な劣化が引き起こされることがわかりました。
特に、基本的な言語機能に影響を与える最下層の破損は、最上層の破損よりも有害です。
私たちの洞察は、悪条件下での言語モデルの堅牢性と適応性の理解に貢献し、パラメーターの摂動に対する回復力のある NLP システムを開発するための戦略に情報を提供します。

要約(オリジナル)

Language models like BERT excel at sentence classification tasks due to extensive pre-training on general data, but their robustness to parameter corruption is unexplored. To understand this better, we look at what happens if a language model is ‘broken’, in the sense that some of its parameters are corrupted and then recovered by fine-tuning. Strategically corrupting BERT variants at different levels, we find corrupted models struggle to fully recover their original performance, with higher corruption causing more severe degradation. Notably, bottom-layer corruption affecting fundamental linguistic features is more detrimental than top-layer corruption. Our insights contribute to understanding language model robustness and adaptability under adverse conditions, informing strategies for developing resilient NLP systems against parameter perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google