Are Compressed Language Models Less Subgroup Robust?

要約

大規模な言語モデルの推論コストを削減するために、より小さなスケーラブルなモデルを作成するためにモデル圧縮が使用されることが増えています。
ただし、データセットのラベルと属性によって定義される少数サブグループに対する堅牢性についてはほとんど知られていません。
この論文では、18 の異なる圧縮方法と設定が BERT 言語モデルのサブグループの堅牢性に及ぼす影響を調査します。
最悪のグループのパフォーマンスはモデル サイズのみに依存するのではなく、使用される圧縮方法にも依存することを示します。
さらに、モデルの圧縮が少数派のサブグループのパフォーマンスを必ずしも悪化させるわけではないこともわかりました。
まとめると、私たちの分析は、モデル圧縮のサブグループの堅牢性についてのさらなる研究に役立ちます。

要約(オリジナル)

To reduce the inference cost of large language models, model compression is increasingly used to create smaller scalable models. However, little is known about their robustness to minority subgroups defined by the labels and attributes of a dataset. In this paper, we investigate the effects of 18 different compression methods and settings on the subgroup robustness of BERT language models. We show that worst-group performance does not depend on model size alone, but also on the compression method used. Additionally, we find that model compression does not always worsen the performance on minority subgroups. Altogether, our analysis serves to further research into the subgroup robustness of model compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google