Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment

要約

トークン予測の安定性は、早期推論ステップの軽度の変動が拡張されたシーケンス上で重要なセマンティックドリフトにつながることが多い、自己回帰生成モデルの課題のままです。
隠された状態遷移を調節するために構造化された変調メカニズムが導入され、生成的柔軟性を維持しながら、潜在的な表現軌道が以前のコンテキスト依存関係と整合したままであることを保証しました。
変調フレームワークは、トランスベースのアーキテクチャ内で機能するように設計されており、外部メモリ依存関係や広範なアーキテクチャの変更を課すことなく、表現の進化を動的に制約します。
実証的評価により、構造化された潜在的な調整が困惑の変動、エントロピーの分散、および語彙不安定の削減に寄与し、長型のテキスト生成の一貫性を改善することが実証されました。
勾配伝播の安定性がさらに分析され、変調プロセスがよりスムーズな最適化経路につながり、連続した推論ステップ全体で体重更新の不安定な変動を軽減することを明らかにしました。
変調プロセスの計算効率が評価され、変圧器ベースのアーキテクチャ内での統合により、既存の最適化フレームワークとの互換性を維持しながら、限界オーバーヘッドのみが導入されたことが示されました。
構造化された変調の制約は、構文の変動にも影響を与え、バランスの取れた文の長さ分布を維持しながら過度の繰り返しを防ぎました。
ベースラインモデルに対する比較評価は、発音の分解能、論理的一貫性、および自己回帰テキスト生成タスク全体のコンテキストアライメントを改善する上で、制御された潜在状態の進化の役割を強化しました。

要約(オリジナル)

Token prediction stability remains a challenge in autoregressive generative models, where minor variations in early inference steps often lead to significant semantic drift over extended sequences. A structured modulation mechanism was introduced to regulate hidden state transitions, ensuring that latent representation trajectories remain aligned with prior contextual dependencies while preserving generative flexibility. The modulation framework was designed to function within transformer-based architectures, dynamically constraining representation evolution without imposing external memory dependencies or extensive architectural modifications. Empirical evaluations demonstrated that structured latent adjustments contributed to reductions in perplexity fluctuations, entropy variance, and lexical instability, improving coherence in long-form text generation. Gradient propagation stability was further analyzed, revealing that the modulation process led to smoother optimization pathways, mitigating erratic fluctuations in weight updates across successive inference steps. The computational efficiency of the modulation process was assessed, showing that its integration within transformer-based architectures introduced only marginal overhead while maintaining compatibility with existing optimization frameworks. The structured modulation constraints also influenced syntactic variation, preventing excessive repetition while maintaining balanced sentence length distributions. Comparative evaluations against baseline models reinforced the role of controlled latent state evolution in improving pronoun resolution, logical consistency, and contextual alignment across autoregressive text generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google