Understanding the Regularity of Self-Attention with Optimal Transport

要約

トランスフォーマーとそのマルチヘッド アテンション メカニズムは、幅広い領域で最先端のモデルを上回るパフォーマンスを発揮し、わずか数年で機械学習の状況を完全に変えました。
それでも、理論的な観点から見たその堅牢性についてはほとんど知られていません。
私たちは、自己注意の局所的なリプシッツ定数を研究することでこの問題に取り組みます。これは、ニューラル ネットワークの堅牢性を測定する攻撃に依存しない方法を提供します。
私たちは、入力をワッサーシュタイン距離を備えた確率尺度とみなすことにより、尺度理論のフレームワークを採用します。
これにより、無限長の入力に対する注意を一般化し、コンパクトな集合における自己注意のリプシッツ定数の上限と下限を導出することができます。
下限は以前の結果を大幅に改善し、コンパクト セットの半径とともに指数関数的に大きくなり、入力空間に追加の制約を加えずに堅牢性の保証を得る可能性が排除されます。
また、我々の結果は、局所的なリプシッツ定数が高い測度は、通常、質量の分布が非常に不均衡な少数のディラックで構成されていることも指摘しています。
最後に、トークンの数を変化させる摂動下での自己注意の安定性を分析します。これは、測度理論の枠組みでは当然の疑問であると思われます。
特に、一部の入力については、単にトークンを移動する攻撃よりも、トークンを混乱させる前に複製する攻撃の方が効率的であることを示します。
この現象を質量分裂と呼びます。

要約(オリジナル)

Transformers and their multi-head attention mechanism have completely changed the machine learning landscape in just a few years, by outperforming state-of-art models in a wide range of domains. Still, little is known about their robustness from a theoretical perspective. We tackle this problem by studying the local Lipschitz constant of self-attention, that provides an attack-agnostic way of measuring the robustness of a neural network. We adopt a measure-theoretic framework, by viewing inputs as probability measures equipped with the Wasserstein distance. This allows us to generalize attention to inputs of infinite length, and to derive an upper bound and a lower bound on the Lipschitz constant of self-attention on compact sets. The lower bound significantly improves prior results, and grows more than exponentially with the radius of the compact set, which rules out the possibility of obtaining robustness guarantees without any additional constraint on the input space. Our results also point out that measures with a high local Lipschitz constant are typically made of a few diracs, with a very unbalanced distribution of mass. Finally, we analyze the stability of self-attention under perturbations that change the number of tokens, which appears to be a natural question in the measure-theoretic framework. In particular, we show that for some inputs, attacks that duplicate tokens before perturbing them are more efficient than attacks that simply move tokens. We call this phenomenon mass splitting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google