Beyond Autoregression: Fast LLMs via Self-Distillation Through Time

要約

自己回帰 (AR) 大規模言語モデル (LLM) は、多数のタスクにわたって大きな成功を収めています。
ただし、AR モデリング パラダイムには一定の制限があります。
たとえば、現代の自己回帰 LLM は一度に 1 つのトークンを生成するようにトレーニングされているため、顕著な遅延が発生する可能性があります。
最近の進歩により、検索と繰り返しサンプリングにより、推論中により多くの計算リソースが利用され、定理証明、コード生成、アライメントなどのさまざまなアプリケーションのパフォーマンスが向上することが示されています。
この研究では、拡散言語モデルが少なくとも 32 個のトークンを同時に生成できると同時に、テキスト品質と LAMBADA 自然言語理解ベンチマークにおいて AR モデルのパフォーマンスを上回っていることを実証しました。
この結果は、離散拡散モデルの新しい蒸留方法によって達成され、推論ステップの数を 32 ～ 64 分の 1 に削減します。
実際、私たちのモデルは、キャッシュがなくても、KV キャッシュを採用した AR モデルよりも最大 8 倍速い速度でトークンを生成でき、キャッシュを含めることでさらなる改善が期待されます。
さらに、最大 8 億 6,000 万のパラメータを持つ拡散言語モデルに対するアプローチの有効性を実証します。

要約(オリジナル)

Autoregressive (AR) Large Language Models (LLMs) have demonstrated significant success across numerous tasks. However, the AR modeling paradigm presents certain limitations; for instance, contemporary autoregressive LLMs are trained to generate one token at a time, which can result in noticeable latency. Recent advances have indicated that search and repeated sampling can enhance performance in various applications, such as theorem proving, code generation, and alignment, by utilizing greater computational resources during inference. In this study, we demonstrate that diffusion language models are capable of generating at least 32 tokens simultaneously, while exceeding the performance of AR models in text quality and on the LAMBADA natural language understanding benchmark. This outcome is achieved through a novel distillation method for discrete diffusion models, which reduces the number of inference steps by a factor of 32-64. Practically, our models, even without caching, can generate tokens at a rate that is up to 8 times faster than AR models employing KV caching, and we anticipate further improvements with the inclusion of caching. Moreover, we demonstrate the efficacy of our approach for diffusion language models with up to 860M parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google