Certified Robustness Under Bounded Levenshtein Distance

要約

テキスト分類器は、敵対的に選択された場合、モデルの出力を劇的に変化させる可能性があるという小さな摂動に苦しんでいます。
検証方法は、堅牢な精度で音の下限を計算することにより、このような敵対的な摂動に対して堅牢性証明書を提供できます。
それにもかかわらず、既存の検証方法は法外なコストで発生し、Levenshteinの距離制約を実際に処理することはできません。
Levenshtein距離に関する畳み込み分類器のリプシッツ定数を計算するための最初の方法を提案します。
これらのLipschitz定数推定値を使用して、1-Lipschitz分類器をトレーニングします。
これにより、単一のフォワードパスで分類子の認定半径を計算できます。
私たちの方法であるLipslevは、Ag-Newsデータセットでそれぞれ$ 1 $ $ 1 $と$ 2 $で38.80 $％および$ 13.93 $％の検証精度を得ることができますが、既存のアプローチよりも4ドル幅の高速です。
私たちの仕事は、テキストドメインでより効率的な検証への扉を開くことができると考えています。

要約(オリジナル)

Text classifiers suffer from small perturbations, that if chosen adversarially, can dramatically change the output of the model. Verification methods can provide robustness certificates against such adversarial perturbations, by computing a sound lower bound on the robust accuracy. Nevertheless, existing verification methods incur in prohibitive costs and cannot practically handle Levenshtein distance constraints. We propose the first method for computing the Lipschitz constant of convolutional classifiers with respect to the Levenshtein distance. We use these Lipschitz constant estimates for training 1-Lipschitz classifiers. This enables computing the certified radius of a classifier in a single forward pass. Our method, LipsLev, is able to obtain $38.80$% and $13.93$% verified accuracy at distance $1$ and $2$ respectively in the AG-News dataset, while being $4$ orders of magnitude faster than existing approaches. We believe our work can open the door to more efficient verification in the text domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google