UOR: Universal Backdoor Attacks on Pre-trained Language Models

要約

事前トレーニング済み言語モデル (PLM) に埋め込まれたバックドアは、さまざまな下流タスクに転送される可能性があり、深刻なセキュリティ上の脅威にさらされます。
ただし、PLM に対する既存のバックドア攻撃のほとんどは、ターゲットが絞られておらず、タスク固有のものです。
手動で事前定義されたトリガーと出力表現を使用する標的型およびタスク非依存型の手法はほとんどなく、攻撃がより効果的かつ広範囲になるのを妨げています。
このペーパーでは、まず、PLM に対するより脅威的なバックドア攻撃が満たすべき要件を要約し、次に UOR と呼ばれる新しいバックドア攻撃方法を提案します。これは、手動選択を自動最適化に変えることで以前のアプローチのボトルネックを打破します。
具体的には、さまざまな PLM のトリガーのより均一で普遍的な出力表現を自動的に学習できるポイズニングされた教師あり対比学習を定義します。
さらに、勾配検索を使用して、さまざまな PLM や語彙に適応できる適切なトリガー ワードを選択します。
実験では、私たちの方法が手動の方法と比較して、さまざまなテキスト分類タスクでより優れた攻撃パフォーマンスを達成できることを示しています。
さらに、さまざまなアーキテクチャ、さまざまな使用パラダイム、およびより困難なタスクを備えた PLM でメソッドをテストし、メソッドの普遍性を実証しました。

要約(オリジナル)

Backdoors implanted in pre-trained language models (PLMs) can be transferred to various downstream tasks, which exposes a severe security threat. However, most existing backdoor attacks against PLMs are un-targeted and task-specific. Few targeted and task-agnostic methods use manually pre-defined triggers and output representations, which prevent the attacks from being more effective and general. In this paper, we first summarize the requirements that a more threatening backdoor attack against PLMs should satisfy, and then propose a new backdoor attack method called UOR, which breaks the bottleneck of the previous approach by turning manual selection into automatic optimization. Specifically, we define poisoned supervised contrastive learning which can automatically learn the more uniform and universal output representations of triggers for various PLMs. Moreover, we use gradient search to select appropriate trigger words which can be adaptive to different PLMs and vocabularies. Experiments show that our method can achieve better attack performance on various text classification tasks compared to manual methods. Further, we tested our method on PLMs with different architectures, different usage paradigms, and more difficult tasks, which demonstrated the universality of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google