Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement

要約

意味的にコヒーレントなテキストを生成するには、言語構造の堅牢な内部表現が必要であり、従来の埋め込み技術はしばしば適切にキャプチャできません。
新しいアプローチである潜在的な語彙投影（LLP）が導入され、構造化された変換を介して潜在空間への語彙表現を改良し、それにより、入力埋め込みとその文脈的意味とのアライメントが強化されます。
この方法は、既存の言語モデルアーキテクチャ内で最適化された投影メカニズムを統合し、構文の完全性を維持しながらより正確なトークン選択を可能にします。
複数のベンチマークにわたる評価は、困惑の減少とBLEUスコアの増加を示しており、予測精度と流encyさの改善を示唆しています。
語彙の多様性の分析は、生成されたテキストのより多様な語彙を明らかにし、冗長性と繰り返しのフレーズ構造の一般的な問題に対処します。
エントロピー分布のさらなる評価は、解読中の不確実性の低下を示しており、単語の選択に対する信頼の強化を反映しています。
さらに、長距離依存性保持は測定可能なゲインを示し、延長されたトークン距離での分類精度が向上します。
計算効率は、既存のアーキテクチャへの統合のためのLLPの実用性を強調している、投影メカニズムが追加されているにもかかわらず、管理可能な制約内に残ります。

要約(オリジナル)

Generating semantically coherent text requires a robust internal representation of linguistic structures, which traditional embedding techniques often fail to capture adequately. A novel approach, Latent Lexical Projection (LLP), is introduced to refine lexical representations through a structured transformation into a latent space, thereby enhancing the alignment between input embeddings and their contextual meanings. The method integrates an optimized projection mechanism within an existing language model architecture, enabling more accurate token selection while maintaining syntactic integrity. Evaluations across multiple benchmarks indicate a reduction in perplexity and an increase in BLEU scores, suggesting improvements in predictive accuracy and fluency. The analysis of lexical diversity reveals a more varied vocabulary in generated text, addressing common issues of redundancy and repetitive phrase structures. Further assessments of entropy distributions demonstrate a decline in uncertainty during decoding, reflecting enhanced confidence in word selection. Additionally, long-range dependency retention exhibits measurable gains, with increased classification accuracy at extended token distances. Computational efficiency remains within manageable constraints, despite the added projection mechanism, highlighting the practicality of LLP for integration into existing architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google