As easy as PIE: understanding when pruning causes language models to disagree

要約

言語モデル（LM）剪定は、重み、ノード、またはそのアーキテクチャの他の部分を削除することにより、モデルを圧縮します。
通常、剪定は、結果として生じる効率性の向上に焦点を当てています。
ただし、個々のデータポイントが剪定によってどのように影響を受けるかを見ると、データポイントの特定のサブセットは、剪定時に（精度が低下するという点で）常にほとんどのブラントを負担しますが、この効果はすべてのデータポイントの平均精度を報告するときに気付かれません。
これらのデータポイントはPIEと呼ばれ、画像処理で研究されていますが、NLPでは研究されていません。
さまざまなNLPデータセット、剪定方法、圧縮のレベルの研究では、PIEはクラスの頻度に関係なく、推論の品質に大きく影響し、BertはBilstmよりもこれに傾いていることがわかります。
また、PIEには、モデルが目に見えないデータにどの程度一般化するかに最大の影響を与える大量のデータポイントが含まれていることがわかります。
これは、すべてのデータポイントにわたって精度が一見中程度の損失があるように見える剪定の場合、実際に最も重要なデータポイントを非常に傷つけたことを意味します。
私たちは、パイがより長く、よりセマンティックに複雑なテキストへの推論に対して、パイを硬く、影響を与えるものを追跡します。
これらの発見は斬新であり、LMSが剪定によってどのように影響を受けるかを理解することに貢献しています。
このコードは、https：//github.com/pietrotrope/aseasyaspieで入手できます

要約(オリジナル)

Language Model (LM) pruning compresses the model by removing weights, nodes, or other parts of its architecture. Typically, pruning focuses on the resulting efficiency gains at the cost of effectiveness. However, when looking at how individual data points are affected by pruning, it turns out that a particular subset of data points always bears most of the brunt (in terms of reduced accuracy) when pruning, but this effect goes unnoticed when reporting the mean accuracy of all data points. These data points are called PIEs and have been studied in image processing, but not in NLP. In a study of various NLP datasets, pruning methods, and levels of compression, we find that PIEs impact inference quality considerably, regardless of class frequency, and that BERT is more prone to this than BiLSTM. We also find that PIEs contain a high amount of data points that have the largest influence on how well the model generalises to unseen data. This means that when pruning, with seemingly moderate loss to accuracy across all data points, we in fact hurt tremendously those data points that matter the most. We trace what makes PIEs both hard and impactful to inference to their overall longer and more semantically complex text. These findings are novel and contribute to understanding how LMs are affected by pruning. The code is available at: https://github.com/pietrotrope/AsEasyAsPIE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google