The Impact of Quantization on the Robustness of Transformer-based Text Classifiers

要約

Transformer ベースのモデルは、さまざまな NLP 分野で目覚ましい進歩を遂げました。
それにもかかわらず、これらのモデルは、敵対的な攻撃に直面した場合に脆弱性を示すことがよくあります。
この論文では、Transformer ベースのモデルの堅牢性に対する量子化の影響を調査します。
量子化には通常、手元のモデルのサイズを削減することを目的として、高精度の実数を低精度の値にマッピングすることが含まれます。
私たちの知る限り、この研究は NLP モデルの堅牢性に対する量子化の最初の応用です。
私たちの実験では、SST-2、Emotion、および MR データセットを使用して、テキスト分類における BERT および DistilBERT モデルに対する量子化の影響を評価します。
また、TextFooler、PWWS、PSO の敵対的攻撃に対するこれらのモデルのパフォーマンスも評価します。
私たちの調査結果は、量子化によりモデルの敵対的精度が大幅に (平均 18.68%) 向上することを示しています。
さらに、ロバスト性に対する量子化の効果と敵対的トレーニング アプローチの効果を比較します。
私たちの実験によると、量子化により、トレーニング中に余分な計算オーバーヘッドを課すことなく、敵対的トレーニングと比較してモデルの堅牢性が平均 18.80% 向上します。
したがって、私たちの結果は、NLP モデルの堅牢性の向上における量子化の有効性を強調しています。

要約(オリジナル)

Transformer-based models have made remarkable advancements in various NLP areas. Nevertheless, these models often exhibit vulnerabilities when confronted with adversarial attacks. In this paper, we explore the effect of quantization on the robustness of Transformer-based models. Quantization usually involves mapping a high-precision real number to a lower-precision value, aiming at reducing the size of the model at hand. To the best of our knowledge, this work is the first application of quantization on the robustness of NLP models. In our experiments, we evaluate the impact of quantization on BERT and DistilBERT models in text classification using SST-2, Emotion, and MR datasets. We also evaluate the performance of these models against TextFooler, PWWS, and PSO adversarial attacks. Our findings show that quantization significantly improves (by an average of 18.68%) the adversarial accuracy of the models. Furthermore, we compare the effect of quantization versus that of the adversarial training approach on robustness. Our experiments indicate that quantization increases the robustness of the model by 18.80% on average compared to adversarial training without imposing any extra computational overhead during training. Therefore, our results highlight the effectiveness of quantization in improving the robustness of NLP models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google