In-Context Former: Lightning-fast Compressing Context for Large Language Model

要約

Transformer ベースの大規模言語モデル (LLM) の人気が高まるにつれ、その高い推論コストを削減することが重要な研究の焦点になっています。
効果的なアプローチの 1 つは、長い入力コンテキストを圧縮することです。
既存の方法は通常、LLM 自体のセルフアテンション メカニズムを利用してコンテキストを圧縮します。
これらの方法は顕著な結果を達成しましたが、圧縮プロセスには依然として 2 次時間の計算量が含まれるため、その適用性は制限されます。
この制限を軽減するために、In-Context Formula (IC-Former) を提案します。
以前の方法とは異なり、IC-Former はターゲット LLM に依存しません。
代わりに、クロスアテンション メカニズムと少数の学習可能なダイジェスト トークンを利用して、コンテキストに埋め込まれた単語からの情報を直接凝縮します。
このアプローチにより推論時間が大幅に短縮され、圧縮範囲内で時間の複雑さが直線的に増加します。
実験結果によると、私たちの方法では、圧縮中にベースラインの浮動小数点演算の 1/32 しか必要とせず、評価指標でベースラインのパフォーマンスの 90% 以上を達成しながら、処理速度が 68 ～ 112 倍向上します。
全体として、私たちのモデルは圧縮コストを効果的に削減し、リアルタイムの圧縮シナリオを実現可能にします。

要約(オリジナル)

With the rising popularity of Transformer-based large language models (LLMs), reducing their high inference costs has become a significant research focus. One effective approach is to compress the long input contexts. Existing methods typically leverage the self-attention mechanism of the LLM itself for context compression. While these methods have achieved notable results, the compression process still involves quadratic time complexity, which limits their applicability. To mitigate this limitation, we propose the In-Context Former (IC-Former). Unlike previous methods, IC-Former does not depend on the target LLMs. Instead, it leverages the cross-attention mechanism and a small number of learnable digest tokens to directly condense information from the contextual word embeddings. This approach significantly reduces inference time, which achieves linear growth in time complexity within the compression range. Experimental results indicate that our method requires only 1/32 of the floating-point operations of the baseline during compression and improves processing speed by 68 to 112 times while achieving over 90% of the baseline performance on evaluation metrics. Overall, our model effectively reduces compression costs and makes real-time compression scenarios feasible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google