Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

要約

最近の作品の範囲では、トークンの埋め込みまたはキー値キャッシュの代わりに入力として使用される、トークンのシーケンスが実際のベクトルのより短いシーケンスに使用されるより短いシーケンスへの圧縮の問題に対処しています。
これらのアプローチにより、既存の言語モデルでの計算量を減らすことができます。
エンコーダーとして強力なモデルに依存しているにもかかわらず、最大達成可能な損失レス圧縮比は通常X10よりも高くありません。
理論的には、16ビットの精度と控えめなベクトルサイズであっても、提示されたレートをはるかに超えているため、理論上、この事実は非常に興味深いものです。
この作業では、エンコーダーをサンプルごとの最適化手順に置き換えることにより、圧縮の限界を調査します。
X1500までの圧縮比を持つベクトルが存在することを示します。これは、既存のソリューションと実際に達成可能なソリューションの間に2つの桁のギャップを強調しています。
さらに、圧縮制限は、入力の長さではなく、減少する不確実性の量、つまり条件付けなしでこのシーケンスのクロスエントロピー損失によって決定されることを経験的に示します。
得られた制限は、入力埋め込みの理論的能力とそれらの実用的な利用との間の実質的なギャップを強調し、モデル設計の最適化の重要な余地を示唆しています。

要約(オリジナル)

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google