Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation

要約

私たちは、推論中の大規模言語モデル (LLM) の推論機能を強化するために、蒸留対照復号化 (DCD) と呼ばれる直接的なアプローチを提案します。
小規模なアマチュア モデルや隠れた状態の差異の分析に依存した以前のアプローチとは対照的に、DCD は、対照的な思考連鎖プロンプティングと、ドロップアウトや量子化などの高度な蒸留技術を採用しています。
このアプローチは、通常、専門家とアマチュアの両方のモデルを必要とするため、計算リソースの需要が増大する対照復号化 (CD) の制限に効果的に対処します。
DCD は、対照的なプロンプトを蒸留と統合することにより、アマチュア モデルの必要性を排除し、メモリ使用量を削減します。
私たちの評価では、DCD がさまざまな推論ベンチマークにわたって LLM パフォーマンスを大幅に向上させ、CD と GSM8K および StrategyQA データセットの既存の手法の両方を上回っていることが実証されています。

要約(オリジナル)

We propose a straightforward approach called Distillation Contrastive Decoding (DCD) to enhance the reasoning capabilities of Large Language Models (LLMs) during inference. In contrast to previous approaches that relied on smaller amateur models or analysis of hidden state differences, DCD employs Contrastive Chain-of-thought Prompting and advanced distillation techniques, including Dropout and Quantization. This approach effectively addresses the limitations of Contrastive Decoding (CD), which typically requires both an expert and an amateur model, thus increasing computational resource demands. By integrating contrastive prompts with distillation, DCD obviates the need for an amateur model and reduces memory usage. Our evaluations demonstrate that DCD significantly enhances LLM performance across a range of reasoning benchmarks, surpassing both CD and existing methods in the GSM8K and StrategyQA datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google