Backdoor Learning on Sequence to Sequence Models

要約

【タイトル】シーケンス・ツー・シーケンスモデルにおけるバックドア学習

【要約】
– バックドア攻撃に対する研究が注目される中、既存研究では画像やテキスト分類におけるバックドア攻撃の危険性のみが明らかにされており、無限かつ離散的な出力空間におけるモデルの堅牢性に関する研究は限られている。
– 本研究では、シーケンス・ツー・シーケンス（seq2seq）モデルに対するバックドア攻撃の脆弱性をテストするという課題を取り上げた。
– 0.2％のサンプルを注入するだけで、指定したキーワードや文全体を生成させることができることがわかった。
– Byte Pair Encoding（BPE）を使用して複数のトリガーを作成することで、これらのバックドアが静的でないため、バックドア検出に新たな課題が発生する。
– 機械翻訳やテキスト要約の幅広い実験が行われ、提案された手法が複数のデータセットやモデルにおいて90％以上の攻撃成功率を達成できることが示された。

要約(オリジナル)

Backdoor learning has become an emerging research area towards building a trustworthy machine learning system. While a lot of works have studied the hidden danger of backdoor attacks in image or text classification, there is a limited understanding of the model’s robustness on backdoor attacks when the output space is infinite and discrete. In this paper, we study a much more challenging problem of testing whether sequence-to-sequence (seq2seq) models are vulnerable to backdoor attacks. Specifically, we find by only injecting 0.2\% samples of the dataset, we can cause the seq2seq model to generate the designated keyword and even the whole sentence. Furthermore, we utilize Byte Pair Encoding (BPE) to create multiple new triggers, which brings new challenges to backdoor detection since these backdoors are not static. Extensive experiments on machine translation and text summarization have been conducted to show our proposed methods could achieve over 90\% attack success rate on multiple datasets and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI