Masked Language Model Based Textual Adversarial Example Detection

要約

タイトル：言語モデルベースのテキストの敵対例検出

要約：

– 機械学習モデルの信頼性に対する敵対攻撃は深刻な脅威であり、入力をわずかに変更することで、現在のモデルが誤った予測を行う可能性がある。
– 最近の研究は、敵対的な例が通常の例のデータ・マニフォールドから逸脱する傾向があることがわかってきた。また、事前に学習された言語モデルは、通常の自然言語処理のデータのマニフォールドに適合することができる。
– 本研究では、マスクされた言語モデルを敵対例検出にどのように使用できるかを探り、Masked Language Model-based Detection (MLMD)という新しいテキスト敵対的例検出法を提案した。
– MLMDは、マスクされた言語モデルによって誘発されるマニフォールドの変化を探索することによって、通常の例と敵対的な例の間に明確に区別可能なシグナルを生成する。
– MLMDは、被害モデルの再トレーニングが必要なく、分類タスク、被害モデルのアーキテクチャ、防御対象の攻撃方法に対するプラグアンドプレイ使用が可能である。
– この研究は、敵対的な例のオフマニフォールドの仮定に基づく多くの防御のうち、マニフォールドの変化を捉える新しい視点を提供する。
– MLMDは、様々なベンチマークのテキストデータセット、広く研究されている機械学習モデル、および最新の敵対攻撃について、検出精度が0.984、0.967、および0.901に達する強い性能を発揮することが実験的に示された。
– MLMDは、検出精度とF1スコアにおいて、最新の検出防御手法に優れており、少なくとも同等の性能を持っている。
– 本研究のコードは\url{https://github.com/mlmddetection/MLMDdetection}で公開されています。

要約(オリジナル)

Adversarial attacks are a serious threat to the reliable deployment of machine learning models in safety-critical applications. They can misguide current models to predict incorrectly by slightly modifying the inputs. Recently, substantial work has shown that adversarial examples tend to deviate from the underlying data manifold of normal examples, whereas pre-trained masked language models can fit the manifold of normal NLP data. To explore how to use the masked language model in adversarial detection, we propose a novel textual adversarial example detection method, namely Masked Language Model-based Detection (MLMD), which can produce clearly distinguishable signals between normal examples and adversarial examples by exploring the changes in manifolds induced by the masked language model. MLMD features a plug and play usage (i.e., no need to retrain the victim model) for adversarial defense and it is agnostic to classification tasks, victim model’s architectures, and to-be-defended attack methods. We evaluate MLMD on various benchmark textual datasets, widely studied machine learning models, and state-of-the-art (SOTA) adversarial attacks (in total $3*4*4 = 48$ settings). Experimental results show that MLMD can achieve strong performance, with detection accuracy up to 0.984, 0.967, and 0.901 on AG-NEWS, IMDB, and SST-2 datasets, respectively. Additionally, MLMD is superior, or at least comparable to, the SOTA detection defenses in detection accuracy and F1 score. Among many defenses based on the off-manifold assumption of adversarial examples, this work offers a new angle for capturing the manifold change. The code for this work is openly accessible at \url{https://github.com/mlmddetection/MLMDdetection}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI