Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers

要約

このホワイトペーパーでは、線形代数の観点からデータベースに含まれる事実を記憶するための単一層の注意のみのトランス（すなわち、注意層）の能力を調査します。
各データベースに3テンソルを関連付け、このテンソルのランクをデータベースのサイズの尺度として提案し、データベースのプロパティに関してランクの境界を提供します。
また、注意レイヤーに対応する3テンソルを定義し、おもちゃモデルとランダムデータベースのデータセット上のランクとデータベースランクの関係を経験的に実証します。
価値出力とクエリキーの重みが果たす役割、およびランクに対するArgmaxとSoftmaxの効果を強調することにより、私たちの結果は、変圧器の事実のリコールの「加算モチーフ」に光を当てながら、層を増やす方法を示唆しています。
パラメーターの数を増やすことなく容量。

要約(オリジナル)

In this paper, we investigate the ability of single-layer attention-only transformers (i.e. attention layers) to memorize facts contained in databases from a linear-algebraic perspective. We associate with each database a 3-tensor, propose the rank of this tensor as a measure of the size of the database, and provide bounds on the rank in terms of properties of the database. We also define a 3-tensor corresponding to an attention layer, and empirically demonstrate the relationship between its rank and database rank on a dataset of toy models and random databases. By highlighting the roles played by the value-output and query-key weights, and the effects of argmax and softmax on rank, our results shed light on the `additive motif’ of factual recall in transformers, while also suggesting a way of increasing layer capacity without increasing the number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google