Does Representation Matter? Exploring Intermediate Layers in Large Language Models

要約

大規模言語モデル (LLM) における適切な表現を定義するものを理解することは、理論的理解と実際の応用の両方の基礎です。
この論文では、トランスフォーマーや状態空間モデル (SSM) を含むさまざまな LLM アーキテクチャにおける中間表現の品質を調査します。
中間層は、多くの場合、最終層よりも下流のタスクに対してより有益な表現を生成することがわかりました。
表現の品質を測定するために、プロンプトエントロピー、曲率、拡張不変性など、もともと他のコンテキストで提案された一連のメトリクスを適応させて適用します。
私たちの実証研究では、アーキテクチャの大きな違い、トレーニング中に表現がどのように進化するか、入力のランダム性やプロンプトの長さなどの要素が各レイヤーにどのように影響するかを明らかにしています。
特に、いくつかの中間層のエントロピーに二峰性パターンが観察され、トレーニング データに関連付けられた潜在的な説明が検討されます。
全体として、私たちの結果は LLM の内部メカニズムを明らかにし、アーキテクチャの最適化とトレーニングの戦略を導きます。

要約(オリジナル)

Understanding what defines a good representation in large language models (LLMs) is fundamental to both theoretical understanding and practical applications. In this paper, we investigate the quality of intermediate representations in various LLM architectures, including Transformers and State Space Models (SSMs). We find that intermediate layers often yield more informative representations for downstream tasks than the final layers. To measure the representation quality, we adapt and apply a suite of metrics – such as prompt entropy, curvature, and augmentation-invariance – originally proposed in other contexts. Our empirical study reveals significant architectural differences, how representations evolve throughout training, and how factors like input randomness and prompt length affect each layer. Notably, we observe a bimodal pattern in the entropy of some intermediate layers and consider potential explanations tied to training data. Overall, our results illuminate the internal mechanics of LLMs and guide strategies for architectural optimization and training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google