Quantitative Clustering in Mean-Field Transformer Models

要約

ディープトランスモデルを介したトークンの進化は、kuramotoモデルの同期現象に似た漸近クラスタリング挙動を示すことが示されている相互作用粒子システムとしてモデル化できます。
この作業では、平均フィールドトランスモデルの長年のクラスタリングを調査します。
より正確には、トランスモデルのパラメーターに関するいくつかの仮定に基づく適切に定期的な初期化のために、ディラック点質量に対する対数収縮率を確立します。

要約(オリジナル)

The evolution of tokens through a deep transformer models can be modeled as an interacting particle system that has been shown to exhibit an asymptotic clustering behavior akin to the synchronization phenomenon in Kuramoto models. In this work, we investigate the long-time clustering of mean-field transformer models. More precisely, we establish exponential rates of contraction to a Dirac point mass for any suitably regular initialization under some assumptions on the parameters of transformer models, any suitably regular mean-field initialization synchronizes exponentially fast with some quantitative rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google