A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness

要約

この論文は、1 層のデコーダのみの Transformer が 2 層のリカレント ニューラル ネットワーク (RNN) と同等であるという重要な洞察を明らかにします。
この洞察に基づいて、任意の摂動空間に対するデコーダのみのトランスフォーマーの堅牢性を検証するための新しいアプローチである ARC-Tran を提案します。
ARC-Tran と比較すると、現在のロバスト性検証技術は、単語置換などの特定の長さを保持する摂動、または LSTM などの再帰的モデルのいずれかに限定されています。
ARC-Tran は、位置エンコーディングを細心の注意を払って管理して不一致を防ぎ、重要な洞察を利用して正確でスケーラブルな検証を実現することで、これらの制限に対処します。
私たちの評価では、ARC-Tran が (1) 既存の技術で生成されたモデルよりも任意の摂動空間に対してより堅牢なモデルをトレーニングし、(2) 結果として得られるモデルの高い認証精度を示していることがわかります。

要約(オリジナル)

This paper reveals a key insight that a one-layer decoder-only Transformer is equivalent to a two-layer Recurrent Neural Network (RNN). Building on this insight, we propose ARC-Tran, a novel approach for verifying the robustness of decoder-only Transformers against arbitrary perturbation spaces. Compared to ARC-Tran, current robustness verification techniques are limited either to specific and length-preserving perturbations like word substitutions or to recursive models like LSTMs. ARC-Tran addresses these limitations by meticulously managing position encoding to prevent mismatches and by utilizing our key insight to achieve precise and scalable verification. Our evaluation shows that ARC-Tran (1) trains models more robust to arbitrary perturbation spaces than those produced by existing techniques and (2) shows high certification accuracy of the resulting models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google