David helps Goliath: Inference-Time Collaboration Between Small Specialized and Large General Diffusion LMs

要約

拡散ベースの言語モデルは、自己回帰 LM の有望な代替手段として浮上しています。拡散ベースの言語モデルは、推論時に微妙な制御性を提供しながら、自己回帰 LM の能力にアプローチします。
自己回帰型 LM はスケーリングと命令ベースの学習から多大な恩恵を受けていますが、拡散型 LM の既存の研究は小規模で行われています。
最近提案された拡散モデル SSD-LM から始めて、この研究ではまず、それを 0.4B から 13B のパラメーターにスケールする方法を検討し、そのトレーニングと推論の効率を向上させ、指示に従うようにモデルを微調整する技術を提案します。
より強力な汎用拡散 LM を備え、この研究の主な貢献である SSD-2 を導入します。これは、推論時に大規模な汎用拡散 LM と、より小さいが特殊化されコンテキスト化された拡散 LM を簡単にアンサンブルするためのアプローチです。
。
SSD-2 により、個々のユーザーがカスタマイズして展開できる 100 倍小さいモデルによる新しいアンサンブルが容易になることを示します。
自己回帰モデルと比較して、拡散 LM 間の連携がより効果的であり、双方向コンテキストを動的に組み込む能力により、より高品質なモデル応答が得られることがわかりました。

要約(オリジナル)

Diffusion-based language models are emerging as a promising alternative to autoregressive LMs: they approach the competence of autoregressive LMs while offering nuanced controllability at inference time. While autoregressive LMs have benefited immensely from scaling and instruction-based learning, existing studies of diffusion LMs have been conducted on a smaller scale. Starting with a recently proposed diffusion model SSD-LM, in this work we first explore methods to scale it from 0.4B to 13B parameters, proposing techniques to improve its training and inference efficiency, and to finetune the model to follow instructions. Armed with a more powerful, general purpose diffusion LM, we introduce the primary contribution of this work — SSD-2 — an approach to easily ensemble at inference time a large general-purpose diffusion LM with smaller, but specialized and contextualized diffusion LMs. We show that SSD-2 facilitates novel ensembles with 100x smaller models that can be customized and deployed by individual users. We find that compared to autoregressive models, the collaboration between diffusion LMs is more effective, leading to higher-quality model responses due to their ability to dynamically incorporate bi-directional contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google