Norm of Mean Contextualized Embeddings Determines their Variance

要約

コンテキスト化された埋め込みは、同じトークンであってもコンテキストによって異なり、埋め込み空間内で分布を形成します。
この分布を分析するために、平均埋め込みのノルムと埋め込みの分散に焦点を当てます。
この研究では、これらの値が統計におけるよく知られた分散の公式に従い、効率的な逐次計算方法が提供されることをまず実証します。
次に、いくつかの Transformer モデルの中間層からの埋め込みを観察することにより、ノルムと分散の間に強いトレードオフの関係があることがわかりました。つまり、平均埋め込みが原点に近づくにつれて、分散が増加します。
このトレードオフは、Transformer モデルで使用されるレイヤー正規化メカニズムの影響を受ける可能性があります。
さらに、トークン埋め込みのセットがクラスターとして扱われる場合、埋め込みセット全体の分散が理論的にクラスター内の分散とクラスター間の分散に分解できることを示します。
私たちは、Transformer モデルの層が深くなるにつれて、埋め込みが原点から遠ざかり、クラスター間の分散が相対的に減少し、クラスター内の分散が相対的に増加することを実験的に発見しました。
これらの結果は、層全体にわたる埋め込み空間の異方性に関する既存の研究と一致しています。

要約(オリジナル)

Contextualized embeddings vary by context, even for the same token, and form a distribution in the embedding space. To analyze this distribution, we focus on the norm of the mean embedding and the variance of the embeddings. In this study, we first demonstrate that these values follow the well-known formula for variance in statistics and provide an efficient sequential computation method. Then, by observing embeddings from intermediate layers of several Transformer models, we found a strong trade-off relationship between the norm and the variance: as the mean embedding becomes closer to the origin, the variance increases. This trade-off is likely influenced by the layer normalization mechanism used in Transformer models. Furthermore, when the sets of token embeddings are treated as clusters, we show that the variance of the entire embedding set can theoretically be decomposed into the within-cluster variance and the between-cluster variance. We found experimentally that as the layers of Transformer models deepen, the embeddings move farther from the origin, the between-cluster variance relatively decreases, and the within-cluster variance relatively increases. These results are consistent with existing studies on the anisotropy of the embedding spaces across layers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google