TwT: Thinking without Tokens by Habitual Reasoning Distillation with Multi-Teachers’ Guidance

要約

大規模な言語モデル（LLM）は、推論プロセスを組み込むことにより、問題解決に大きな進歩を遂げました。
ただし、この推論機能が強化されたため、推論中の出力トークンの数が増え、計算コストが高くなります。
この課題に対処するために、高性能を維持しながら、マルチ教師のガイダンスとの習慣的な推論蒸留を通じて推論時間コストを削減する方法であるTWT（トークンなしで考えている）を提案します。
私たちのアプローチでは、習慣的な推論蒸留方法を紹介します。これは、人間の認知に触発された教師が誘導する圧縮戦略を通じて、明示的な推論をモデルの習慣的な行動に内面化することです。
さらに、複数の教師モデルを使用して高品質で多様な蒸留データセットを生成する手法であるデュアル基準拒絶サンプリング（DCR）を提案し、監視されていないシナリオに適しています。
実験結果は、TWTが優れたパフォーマンスを維持しながら推論コストを効果的に削減し、他の蒸留方法と比較して出力トークンが少ないと精度が最大13.6％改善され、効率的なLLM展開のための非常に実用的なソリューションを提供することを示しています。

要約(オリジナル)

Large Language Models (LLMs) have made significant strides in problem-solving by incorporating reasoning processes. However, this enhanced reasoning capability results in an increased number of output tokens during inference, leading to higher computational costs. To address this challenge, we propose TwT (Thinking without Tokens), a method that reduces inference-time costs through habitual reasoning distillation with multi-teachers’ guidance, while maintaining high performance. Our approach introduces a Habitual Reasoning Distillation method, which internalizes explicit reasoning into the model’s habitual behavior through a Teacher-Guided compression strategy inspired by human cognition. Additionally, we propose Dual-Criteria Rejection Sampling (DCRS), a technique that generates a high-quality and diverse distillation dataset using multiple teacher models, making our method suitable for unsupervised scenarios. Experimental results demonstrate that TwT effectively reduces inference costs while preserving superior performance, achieving up to a 13.6% improvement in accuracy with fewer output tokens compared to other distillation methods, offering a highly practical solution for efficient LLM deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google