Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations

要約

深い神経アーキテクチャ内の内部表現は、言語構造の高次元的な抽象化をエンコードしますが、それらはしばしば特徴分布で非効率性を示し、表現力と適応性を制限します。
コンテキストサブスペースマニホールドプロジェクションは、制御された部分空間制約を介してトークンの埋め込みを選択的に再構成する構造化された改良技術を導入し、より安定した幾何学的に明確に定義された特徴分布を確保します。
実証的評価により、構造化された介入が異方性を減らし、変圧器層全体でセマンティックの忠実度を維持しながら表現のコンパクトさを改善することが示されました。
クラスタリング分析では、トークンの埋め込みがより大きな特徴分離性を示し、構造化された投影技術が言語の一貫性を犠牲にすることなく内部表現組織を強化するという仮説を強化することを示しました。
勾配の大きさ分布は、この方法がよりスムーズな最適化軌道を導入し、トレーニングを通してより安定したパラメーターの更新に貢献する可能性があることを示唆しました。
投影操作に関連する計算オーバーヘッドは最小限のままであり、改良によりモデルの効率や推論速度に大きなトレードオフが導入されないようにしました。
標準の埋め込み洗練技術との比較により、構造化されたマニホールド制約は、追加の勾配ベースの最適化を必要とせずに表現品質を改善するための直接的なメカニズムを提供することが強調されました。
困惑の評価により、調整はシーケンスのコヒーレンスに悪影響を与えず、提案されたアプローチの有効性をさらに検証したことが確認されました。

要約(オリジナル)

Internal representations within deep neural architectures encode high-dimensional abstractions of linguistic structures, yet they often exhibit inefficiencies in feature distribution, limiting expressiveness and adaptability. Contextual Subspace Manifold Projection introduces a structured refinement technique that selectively reconfigures token embeddings through controlled subspace constraints, ensuring more stable and geometrically well-defined feature distributions. Empirical evaluations demonstrated that the structured intervention reduced anisotropy, leading to improved representation compactness while preserving semantic fidelity across transformer layers. Clustering analyses indicated that token embeddings exhibited greater feature separability, reinforcing the hypothesis that structured projection techniques enhance internal representation organization without sacrificing linguistic coherence. Gradient magnitude distributions suggested that the method introduced a smoother optimization trajectory, potentially contributing to more stable parameter updates throughout training. Computational overhead associated with the projection operations remained minimal, ensuring that the refinements did not introduce significant trade-offs in model efficiency or inference speed. Comparisons with standard embedding refinement techniques highlighted that structured manifold constraints provided a direct mechanism for improving representation quality without requiring additional gradient-based optimization. Perplexity evaluations confirmed that the adjustments did not negatively impact sequence coherence, further validating the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google