Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?

要約

Transformer モデルの表現力に関する既存の分析では、データの記憶に過度に深い層が必要であり、実際に使用される Transformer との矛盾が生じていました。
これは主に、ソフトマックス関数がハードマックス関数の近似として解釈されるためです。
ソフトマックス関数とボルツマン演算子の関係を明確にすることで、低ランクの重み行列を備えた単一層のセルフアテンションが、入力シーケンス全体のコンテキストを完全に捕捉する機能を備えていることを証明します。
その結果、単層 Transformer が有限サンプルの記憶能力を持ち、2 つのフィードフォワード ニューラル ネットワークを備えた 1 つの自己注意層で構成される Transformer が、コンパクトな領域上の連続関数の汎用近似器であることを示します。

要約(オリジナル)

Existing analyses of the expressive capacity of Transformer models have required excessively deep layers for data memorization, leading to a discrepancy with the Transformers actually used in practice. This is primarily due to the interpretation of the softmax function as an approximation of the hardmax function. By clarifying the connection between the softmax function and the Boltzmann operator, we prove that a single layer of self-attention with low-rank weight matrices possesses the capability to perfectly capture the context of an entire input sequence. As a consequence, we show that single-layer Transformer has a memorization capacity for finite samples, and that Transformers consisting of one self-attention layer with two feed-forward neural networks are universal approximators for continuous functions on a compact domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google