Probabilistic Subspace Manifolds for Contextual Inference in Large Language Models

要約

トークンの埋め込みを学習した多様体にわたって確率分布として表すことで、より柔軟なコンテキストの推論が可能になり、意味の粒度が向上しながら表現の剛性が低下します。
比較評価は、確率的埋め込みが近隣の一貫性を改善し、冗長性を低下させ、トークンの関係が微調整された反復全体でより構造的に一貫性のあるままであることを示しています。
注意メカニズム内の確率的部分空間の統合により、より適応的なコンテキスト重み付けが促進され、モデルが従来の埋め込みで不明瞭になる潜在的な依存関係をキャプチャできるようにします。
実験結果は、敵対的な修正に対する堅牢性の増加を強調しており、摂動ベースの評価シナリオの下でもコンテキストの完全性を維持する確率的な埋め込みを備えています。
パフォーマンス評価は、確率論的表現がドメイン固有のアプリケーションでより大きな適応性を達成し、言語ドメインを横切る際の広範な再訓練の必要性を軽減することを示しています。
計算トレードオフは、運用上実行可能な制限内であり、表現の安定性とコンテキスト表現力の強化の利点とバランスが取れている推論レイテンシのわずかな増加があります。
構造化された不確実性をエンコードする能力は、特に拡張されたシーケンス全体でコヒーレンスを維持するには、曖昧またはコンテキスト依存の言語構造を処理できる表現フレームワークが必要な場合に、生成モデリングタスクの利点を提供します。

要約(オリジナル)

Representing token embeddings as probability distributions over learned manifolds allows for more flexible contextual inference, reducing representational rigidity while enhancing semantic granularity. Comparative evaluations demonstrate that probabilistic embeddings improve neighborhood consistency and decrease redundancy, ensuring that token relationships remain more structurally coherent across fine-tuning iterations. The integration of probabilistic subspaces within attention mechanisms facilitates more adaptive contextual weighting, enabling models to capture latent dependencies that would otherwise be obscured in conventional embeddings. Experimental results highlight increased robustness against adversarial modifications, with probabilistic embeddings preserving contextual integrity even under perturbation-based evaluation scenarios. Performance assessments indicate that probabilistic representations achieve greater adaptability in domain-specific applications, mitigating the need for extensive retraining when shifting across linguistic domains. Computational trade-offs remain within operationally feasible limits, with marginal increases in inference latency balanced against the benefits of enhanced representation stability and contextual expressiveness. The capacity to encode structured uncertainty provides advantages in generative modeling tasks, particularly where maintaining coherence across extended sequences requires a representation framework capable of handling ambiguous or context-dependent linguistic constructs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google