Contextual Memory Reweaving in Large Language Models Using Layered Latent State Reconstruction

要約

深いニューラルアーキテクチャにおけるメモリ保持の課題は、拡張されたコンテキスト情報を処理および再発行する能力に継続的な制限があります。
シーケンスの長さが増加するにつれてトークン依存関係が分解し、一貫性の低下と、より長い出力間での事実の一貫性につながります。
構造化されたアプローチが導入され、さまざまな処理層で捕獲された潜在状態の再溶解を通じてこの問題を軽減し、拡張されたシーケンスにわたってトークン表現を強化します。
提案されたコンテキストメモリリービングフレームワークには、外部メモリモジュールを導入せずに過去のコンテキスト埋め込みを体系的に統合するための層状潜在状態再構成メカニズムが組み込まれています。
実験結果は、シーケンスの長さの範囲にわたるリコール精度の改善を示しており、まれに発生するトークンと数値の推論の一貫性の保持に顕著な向上を示します。
計算効率のさらなる分析は、追加の処理オーバーヘッドが許容可能なしきい値内に残り、異なるモデルサイズにわたってスケーラビリティを可能にすることを示しています。
長い形式のテキスト生成と曖昧なクエリ解像度の評価は、継続性を高め、拡張出力を超える矛盾を減らすために、メモリの再測定の能力を強調しています。
注意の重量分布により、より構造化された割り当てパターンが明らかになり、潜在的な潜在状態がコンテキスト認識の改善に寄与することを示唆しています。
この調査結果は、言語モデルのメモリ保持メカニズムを精製するためのフレームワークを確立し、複雑でマルチステップの推論タスクの処理における長年の課題に対処します。

要約(オリジナル)

Memory retention challenges in deep neural architectures have ongoing limitations in the ability to process and recall extended contextual information. Token dependencies degrade as sequence length increases, leading to a decline in coherence and factual consistency across longer outputs. A structured approach is introduced to mitigate this issue through the reweaving of latent states captured at different processing layers, reinforcing token representations over extended sequences. The proposed Contextual Memory Reweaving framework incorporates a Layered Latent State Reconstruction mechanism to systematically integrate past contextual embeddings without introducing external memory modules. Experimental results demonstrate improvements in recall accuracy across a range of sequence lengths, with notable gains in the retention of rarely occurring tokens and numerical reasoning consistency. Further analysis of computational efficiency indicates that the additional processing overhead remains within acceptable thresholds, enabling scalability across different model sizes. Evaluations in long-form text generation and ambiguous query resolution highlight the capacity of memory reweaving to enhance continuity and reduce inconsistencies over extended outputs. Attention weight distributions reveal more structured allocation patterns, suggesting that reweaved latent states contribute to improved contextual awareness. The findings establish a framework for refining memory retention mechanisms in language models, addressing long-standing challenges in handling complex, multi-step reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google