Simplicity Bias of Transformers to Learn Low Sensitivity Functions

要約

トランスフォーマーは、多くのタスクにわたって最先端の精度と堅牢性を実現しますが、トランスフォーマーが持つ誘導バイアスと、それらのバイアスが他のニューラル ネットワーク アーキテクチャとどのように異なるのかについては、依然として理解しにくいままです。
完全接続ネットワークなどのさまざまなニューラル ネットワーク アーキテクチャには、データの単純な関数に対する単純さのバイアスがあることがわかっています。
この単純性バイアスの 1 つのバージョンは、フーリエ空間の単純な関数を学習するためのスペクトル バイアスです。
この研究では、入力のランダムな変化に対するモデルの感度の概念を、さまざまなデータ モダリティにわたるトランスフォーマーの単純性とスペクトル バイアスを説明するための統一された指標を提供する単純性バイアスの概念として特定します。
視覚タスクと言語タスクの両方において、変換器は LSTM、MLP、CNN などの代替アーキテクチャよりも感度が低いことを示します。
また、低感度バイアスがロバスト性の向上と相関することも示します。
さらに、変圧器の堅牢性をさらに向上させるための効率的な介入としても使用できます。

要約(オリジナル)

Transformers achieve state-of-the-art accuracy and robustness across many tasks, but an understanding of the inductive biases that they have and how those biases are different from other neural network architectures remains elusive. Various neural network architectures such as fully connected networks have been found to have a simplicity bias towards simple functions of the data; one version of this simplicity bias is a spectral bias to learn simple functions in the Fourier space. In this work, we identify the notion of sensitivity of the model to random changes in the input as a notion of simplicity bias which provides a unified metric to explain the simplicity and spectral bias of transformers across different data modalities. We show that transformers have lower sensitivity than alternative architectures, such as LSTMs, MLPs and CNNs, across both vision and language tasks. We also show that low-sensitivity bias correlates with improved robustness; furthermore, it can also be used as an efficient intervention to further improve the robustness of transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google