Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers

要約

これまでの研究では、ReLU Transformers 内の MLP が高レベルのスパース性を示し、特定のトークンのアクティベーションの多くが 0 に等しいことが実証されました。
私たちはその研究に基づいて、トークンレベルのスパース性がトレーニングの過程でどのように進化するか、そしてそれがシーケンスまたはバッチの過程でより広範なスパース性パターンにどのように接続されるかをより深く調査し、小さなトランスフォーマー内のさまざまなレイヤーが明確なレイヤーを示していることを実証します。
これらの両方の面で特定のパターンが発生します。
特に、ネットワークの最初と最後の層が、スパース性に対して特徴的かつ多くの点で逆転した関係を持っていることを実証し、モデルのさまざまな深さで学習される特徴表現の構造への影響を調査します。
さらに、ReLU 次元が「オフになる」現象を調査し、「ニューロンの死」が単に異常値の結果としてランダムまたは偶然に発生するのではなく、主にトレーニングのダイナミクスによって引き起こされていることを示唆する証拠を示します。

要約(オリジナル)

Previous work has demonstrated that MLPs within ReLU Transformers exhibit high levels of sparsity, with many of their activations equal to zero for any given token. We build on that work to more deeply explore how token-level sparsity evolves over the course of training, and how it connects to broader sparsity patterns over the course of a sequence or batch, demonstrating that the different layers within small transformers exhibit distinctly layer-specific patterns on both of these fronts. In particular, we demonstrate that the first and last layer of the network have distinctive and in many ways inverted relationships to sparsity, and explore implications for the structure of feature representations being learned at different depths of the model. We additionally explore the phenomenon of ReLU dimensions ‘turning off’, and show evidence suggesting that ‘neuron death’ is being primarily driven by the dynamics of training, rather than simply occurring randomly or accidentally as a result of outliers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google