Transformer Layers as Painters

要約

トランスフォーマーは大規模な言語モデルにほぼ普遍的に採用されているにもかかわらず、トランスフォーマーの内部動作はよく理解されていません。
私たちは、事前学習済みトランスフォーマーのレイヤー全体で情報を削除または再編成した場合の影響をより深く理解することを目指しています。
このような理解により、既存のモデルをより適切に使用できるだけでなく、アーキテクチャを改善して新しいバリアントを作成することも可能になります。
我々は、フリーズ モデルに関する一連の実証研究を紹介します。この研究では、事前学習済み変換器の下位層と最終層は中間層とは異なりますが、中間層には驚くほどの均一性があることが示されています。
さらに、一部のクラスの問題は、層のスキップ、訓練方法とは異なる順序での層の実行、または層の並列実行に対して堅牢であることを示します。
私たちの観察によれば、フリーズされた事前トレーニング済みモデルであっても、レイヤーをスキップしたりレイヤーを並行して実行したりすることで、精度とレイテンシをうまくトレードできる可能性があることが示唆されています。

要約(オリジナル)

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google