RecycleGPT: An Autoregressive Language Model with Recyclable Module

要約

既存の大規模な言語モデルは、K 個のトークンのシーケンスを生成するために K 回実行する必要があります。
この論文では、モデル全体を複数のステップで実行することなく、事前に生成されたモデルの状態をリサイクルすることにより、高速なデコード速度を実現する生成言語モデルである RecycleGPT を紹介します。
私たちのアプローチは、シーケンス内の隣接するトークンには通常強い相関関係があり、シーケンス内の次のトークンは前のトークンに基づいて合理的に推測または推論できるという観察に基づいています。
下流のテキスト生成タスクに関する理論的評価と実践的なテストを通じて、推論レイテンシを短縮するアプローチの有効性を実証し、高いパフォーマンスを維持しながら最大 1.4 倍の高速化を達成しました。

要約(オリジナル)

Existing large language models have to run K times to generate a sequence of K tokens. In this paper, we present RecycleGPT, a generative language model with fast decoding speed by recycling pre-generated model states without running the whole model in multiple steps. Our approach relies on the observation that adjacent tokens in a sequence usually have strong correlations and the next token in a sequence can be reasonably guessed or inferred based on the preceding ones. Through theoretical evaluations and practical tests on downstream text generation tasks, we demonstrate the effectiveness of our approach in lowering inference latency, achieving up to 1.4x speedup while preserving high performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google