Extend Adversarial Policy Against Neural Machine Translation via Unknown Token

要約

敵対的な例の生成は、主流のニューラル機械翻訳 (NMT) の堅牢性に貢献します。
ただし、一般的な敵対的ポリシーは固定トークン化になりがちで、多用途のトークン化を伴う一般的な文字の混乱に対する有効性が妨げられます。
強化学習(RL)による既存の敵対的生成に基づいて、トークン置換に基づく既存の主流の敵対的ポリシーに文字摂動を導入する「DexCharポリシー」を提案します。
さらに、敵対者のトレーニング中に必要な意味論的な制約に応えるために、RL でフィードバックを提供する自己教師ありマッチングを改善します。
実験では、私たちの方法がベースラインの敵対者が失敗するシナリオと互換性があり、システムの分析と最適化のために高効率の敵対的サンプルを生成できることが示されています。

要約(オリジナル)

Generating adversarial examples contributes to mainstream neural machine translation~(NMT) robustness. However, popular adversarial policies are apt for fixed tokenization, hindering its efficacy for common character perturbations involving versatile tokenization. Based on existing adversarial generation via reinforcement learning~(RL), we propose the `DexChar policy’ that introduces character perturbations for the existing mainstream adversarial policy based on token substitution. Furthermore, we improve the self-supervised matching that provides feedback in RL to cater to the semantic constraints required during training adversaries. Experiments show that our method is compatible with the scenario where baseline adversaries fail, and can generate high-efficiency adversarial examples for analysis and optimization of the system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google