TRACE for Tracking the Emergence of Semantic Representations in Transformers

要約

最新の変圧器モデルは、トレーニング中に相転移を示し、記憶から抽象化への明確なシフトを示しますが、これらの遷移の根底にあるメカニズムはよく理解されていません。
以前の研究では、多くの場合、エンドポイント表現または曲率や相互情報など、通常は象徴的または算術ドメインで、言語構造の出現を見落としています。
幾何学、情報、および言語信号を組み合わせた診断フレームワークであるTrace（表現表現の抽象化と組成の出現を追跡する）を紹介し、変圧器ベースのLMSの位相遷移を検出します。
トレースは、フレームセマンチックなデータ生成法であるAbsynthを活用して、制御可能な複雑さ、語彙分布、および構造エントロピーを備えた注釈付きの合成コーパスを生成し、言語カテゴリで完全に注釈を付け、抽象化の出現の正確な分析を可能にします。
実験により、（i）位相遷移は、曲率崩壊と寸法安定化との間の明確な交差点と一致することが明らかになりました。
（ii）これらの幾何学的シフトは、新たな構文およびセマンティックの精度と一致します。
（iii）抽象化パターンはアーキテクチャのバリエーション全体にわたって持続します。フィードフォワードネットワークのようなコンポーネントは、軌跡を根本的に変更するのではなく、最適化の安定性に影響します。
この作業は、LMSで言語学的抽象化がどのように出現するかについての理解を促進し、LM開発へのより原則的なアプローチを通知できるモデルの解釈可能性、トレーニング効率、および構成一般化に関する洞察を提供します。

要約(オリジナル)

Modern transformer models exhibit phase transitions during training, distinct shifts from memorisation to abstraction, but the mechanisms underlying these transitions remain poorly understood. Prior work has often focused on endpoint representations or isolated signals like curvature or mutual information, typically in symbolic or arithmetic domains, overlooking the emergence of linguistic structure. We introduce TRACE (Tracking Representation Abstraction and Compositional Emergence), a diagnostic framework combining geometric, informational, and linguistic signals to detect phase transitions in Transformer-based LMs. TRACE leverages a frame-semantic data generation method, ABSynth, that produces annotated synthetic corpora with controllable complexity, lexical distributions, and structural entropy, while being fully annotated with linguistic categories, enabling precise analysis of abstraction emergence. Experiments reveal that (i) phase transitions align with clear intersections between curvature collapse and dimension stabilisation; (ii) these geometric shifts coincide with emerging syntactic and semantic accuracy; (iii) abstraction patterns persist across architectural variants, with components like feedforward networks affecting optimisation stability rather than fundamentally altering trajectories. This work advances our understanding of how linguistic abstractions emerge in LMs, offering insights into model interpretability, training efficiency, and compositional generalisation that could inform more principled approaches to LM development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google