RecycleGPT: An Autoregressive Language Model with Recyclable Module

要約

既存の大規模な言語モデルは、K 個のトークンのシーケンスを生成するために K 回実行する必要があります。
この論文では、モデル全体を複数のステップで実行することなく、事前に生成されたモデルの状態をリサイクルすることにより、高速なデコード速度を実現する生成言語モデルである RecycleGPT を紹介します。
私たちのアプローチは、シーケンス内の隣接するトークンには通常強い相関関係があり、シーケンス内の次のトークンは前のトークンに基づいて合理的に推測または推論できるという観察に基づいています。
実験と分析により、推論レイテンシーの短縮における当社のアプローチの有効性が実証され、高いパフォーマンスを維持しながら最大 1.4 倍の高速化が達成されます。

要約(オリジナル)

Existing large language models have to run K times to generate a sequence of K tokens. In this paper, we present RecycleGPT, a generative language model with fast decoding speed by recycling pre-generated model states without running the whole model in multiple steps. Our approach relies on the observation that adjacent tokens in a sequence usually have strong correlations and the next token in a sequence can be reasonably guessed or inferred based on the preceding ones. Experiments and analysis demonstrate the effectiveness of our approach in lowering inference latency, achieving up to 1.4x speedup while preserving high performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google