Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation

要約

大規模な言語モデル（LLMS）のトークン表現の幾何学的進化は基本的なパラドックスを提示します。人間の言語は本質的に低次元空間（$ \ sim 10^1 $寸法）でセマンティック情報を整理し、現代のLLMは高次元の埋め込み（$ \ sim 10^3 $寸法）を使用します。
このパラドックスを解決するために、この作業は、変圧器層全体のトークンダイナミクスを追跡する幾何学的フレームワークを開発することにより、この概念的なギャップを橋渡しします。
複数のアーキテクチャにわたる本質的な寸法のレイヤーごとの分析により、トークンが「作業空間」に拡散し、次第に低次元サブマニホールドに投影する拡張制御パターンを明らかにします。
私たちの発見は、LLMSの作業空間ディメンションとパラメーターに敏感なパフォーマンスとの間の負の相関を意味し、効果的なモデルがトークンを約10次元サブマニホールドに圧縮する傾向があり、人間のセマンティックスペースに非常に似ていることを示しています。
この作業は、高次元の計算と低次元のセマンティクスを媒介するプロジェクターとして変圧器層を再構成することにより、LLMの解釈性を向上させるだけでなく、タスク固有の評価に依存しないモデル診断の実用的なツールも提供します。

要約(オリジナル)

The geometric evolution of token representations in large language models (LLMs) presents a fundamental paradox: while human language inherently organizes semantic information in low-dimensional spaces ($\sim 10^1$ dimensions), modern LLMs employ high-dimensional embeddings ($\sim 10^3$ dimensions) processed through Transformer architectures. To resolve this paradox, this work bridges this conceptual gap by developing a geometric framework that tracks token dynamics across Transformers layers. Through layer-wise analysis of intrinsic dimensions across multiple architectures, we reveal an expansion-contraction pattern where tokens diffuse to a ‘working space’ and then progressively project onto lower-dimensional submanifolds. Our finding implies a negative correlation between the working space dimension and parameter-sensitive performance of the LLMs, and indicates that effective models tend to compress tokens into approximately 10-dimensional submanifolds, closely resembling human semantic spaces. This work not only advances LLM interpretability by reframing Transformers layers as projectors that mediate between high-dimensional computation and low-dimensional semantics, but also provides practical tools for model diagnostics that do not rely on task-specific evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google