Transformers Learn Low Sensitivity Functions: Investigations and Implications

要約

トランスは、多くのタスクにわたって最先端の精度と堅牢性を実現しますが、それらの誘導バイアスと他のニューラルネットワークアーキテクチャとどのように異なるかを理解することはとらえどころのないままです。
この作業では、さまざまなデータモダリティ全体の変圧器の誘導バイアスを説明し、他のアーキテクチャと区別する統一されたメトリックとして、入力内のトークンごとのランダムな摂動に対するモデルの感度を統合します。
変圧器は、ビジョンタスクと言語タスクの両方で、MLP、CNNS、コンビクシー、LSTMよりも感度が低いことを示しています。
また、この低感度バイアスには重要な意味があることも示します。i）低感度は、堅牢性の向上と相関しています。
また、変圧器の堅牢性をさらに改善するための効率的な介入として使用することもできます。
ii）損失状況のより平坦な最小値に対応します。
iii）それは、グローキングの進捗尺度として機能することができます。
これらの発見は、NTK体制における変圧器の（弱い）スペクトルバイアスを示し、感度が低いために堅牢性を改善する理論的結果でサポートしています。
このコードは、https：//github.com/estija/sensitivityで入手できます。

要約(オリジナル)

Transformers achieve state-of-the-art accuracy and robustness across many tasks, but an understanding of their inductive biases and how those biases differ from other neural network architectures remains elusive. In this work, we identify the sensitivity of the model to token-wise random perturbations in the input as a unified metric which explains the inductive bias of transformers across different data modalities and distinguishes them from other architectures. We show that transformers have lower sensitivity than MLPs, CNNs, ConvMixers and LSTMs, across both vision and language tasks. We also show that this low-sensitivity bias has important implications: i) lower sensitivity correlates with improved robustness; it can also be used as an efficient intervention to further improve the robustness of transformers; ii) it corresponds to flatter minima in the loss landscape; and iii) it can serve as a progress measure for grokking. We support these findings with theoretical results showing (weak) spectral bias of transformers in the NTK regime, and improved robustness due to the lower sensitivity. The code is available at https://github.com/estija/sensitivity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google