Structured Context Recomposition for Large Language Models Using Probabilistic Layer Realignment

要約

拡張されたシーケンス生成は、従来の自己触媒メカニズムが長距離依存関係を効果的に保持できないため、コンテキストの一貫性の分解につながります。
メモリ圧縮や検索充電の条件付けなどの既存のアプローチは、推論の潜在性を高めるか、追加のストレージオーバーヘッドを課す計算トレードオフを導入します。
構造化されたコンテキストの再構成（SCR）は、変圧器層内の学習表現を動的に調整する確率的層の再編成戦略を導入し、拡張変換全体に意味的に関連する埋め込みが持続することを保証します。
提案された方法は、固定トークンレベルの注意スコアに依存するのではなく、推定されたコンテキスト関連性に基づいて表現上の強調を再分配する再帰重み付け関数を介してコヒーレンス保持を強化します。
経験的な結果は、確率論的再編成により、特にシーケンスが標準の注意ウィンドウの制約を超えるシナリオで、突然のトピックシフトと論理的な矛盾を軽減することを示しています。
シーケンスレベルのエントロピー解析により、SCRは過度の出力正規化を導入することなく表現の変動性を緩和し、モデルがコンテキストアライメントを維持しながら生成的多様性を維持できることを明らかにしています。
注意ヘッド偏差測定により、階層的な再重み付けが変圧器層全体のより滑らかなトークン依存性の遷移に寄与し、マルチターン相互作用とドキュメントレベルの推論の安定性を強化することを確認します。
計算リソースの評価は、SCRが処理時間に中程度の増加をもたらす一方で、メモリオーバーヘッドは実行可能な制限内に残っており、自己回帰の生成アプリケーションでの実用的な展開に適していることを示しています。

要約(オリジナル)

Extended sequence generation often leads to degradation in contextual consistency due to the inability of conventional self-attention mechanisms to effectively retain long-range dependencies. Existing approaches, including memory compression and retrieval-augmented conditioning, introduce computational trade-offs that either increase inference latency or impose additional storage overhead. Structured Context Recomposition (SCR) introduces a probabilistic layer realignment strategy that dynamically adjusts learned representations within transformer layers, ensuring that semantically relevant embeddings persist throughout extended transformations. The proposed method enhances coherence retention through a recursive weighting function that redistributes representational emphasis based on inferred contextual relevance rather than relying on fixed token-level attention scores. Empirical results indicate that probabilistic realignment mitigates abrupt topic shifts and logical inconsistencies, particularly in scenarios where sequences exceed standard attention window constraints. Sequence-level entropy analysis further reveals that SCR moderates representational variability without introducing excessive output regularization, allowing models to sustain generative diversity while preserving contextual alignment. Attention head deviation measurements confirm that hierarchical reweighting contributes to smoother token dependency transitions across transformer layers, reinforcing the stability of multi-turn interactions and document-level reasoning. Computational resource assessments show that while SCR incurs a moderate increase in processing time, memory overhead remains within feasible limits, making it suitable for practical deployment in autoregressive generative applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google