DenseFormer: Enhancing Information Flow in Transformers via Depth Weighted Averaging

要約

Vaswani らによる変圧器アーキテクチャ。
(2017) は現在、自然言語処理から音声処理、画像理解に至るまで、アプリケーション ドメイン全体で普及しています。
私たちは、モデルのサイズを増やさずにモデルの複雑さを改善する標準アーキテクチャへの簡単な変更である DenseFormer を提案します。100B パラメータ範囲の大規模モデルに数千のパラメータを追加します。
私たちのアプローチは、各変換ブロックの後の追加の平均化ステップに依存しており、現在と過去の表現の加重平均を計算します。この演算を深度加重平均 (DWA) と呼びます。
学習された DWA 重みは、情報フローの一貫したパターンを示し、遠く離れたレイヤーからのアクティベーションが強力かつ構造的に再利用されていることを明らかにします。
実験では、DenseFormer がよりデータ効率が高く、より深いトランスフォーマー モデルと同じ複雑度に達すること、および同じ複雑さの場合、これらの新しいモデルがメモリ効率と推論時間の点でトランスフォーマーのベースラインを上回るパフォーマンスを示していることが実証されています。

要約(オリジナル)

The transformer architecture by Vaswani et al. (2017) is now ubiquitous across application domains, from natural language processing to speech processing and image understanding. We propose DenseFormer, a simple modification to the standard architecture that improves the perplexity of the model without increasing its size — adding a few thousand parameters for large-scale models in the 100B parameters range. Our approach relies on an additional averaging step after each transformer block, which computes a weighted average of current and past representations — we refer to this operation as Depth-Weighted-Average (DWA). The learned DWA weights exhibit coherent patterns of information flow, revealing the strong and structured reuse of activations from distant layers. Experiments demonstrate that DenseFormer is more data efficient, reaching the same perplexity of much deeper transformer models, and that for the same perplexity, these new models outperform transformer baselines in terms of memory efficiency and inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google