Mind’s Mirror: Distilling Self-Evaluation Capability and Comprehensive Thinking from Large Language Models

要約

大規模言語モデル (LLM) は、自然言語処理の分野で目覚ましい進歩を遂げました。
ただし、これらのモデルの規模と計算要求が膨大であるため、リソースに制約のある状況で実際に展開することを考えると、大きな課題が生じます。
思考連鎖 (CoT) 蒸留などの手法は、LLM を小型言語モデル (SLM) に蒸留する際に有望であることが示されていますが、蒸留された SLM には、対応する LLM から受け継いだ欠陥のある推論や幻覚が依然として引き継がれるリスクがあります。
これらの問題に対処するために、我々は 2 つの方法論を提案します。まず、LLM に固有の自己評価能力を SLM に抽出するための新しい方法を導入します。これは、誤った推論の悪影響を軽減し、幻覚を軽減することを目的としています。
第二に、私たちは、複数の異なる思考連鎖と自己評価パラダイムを組み込んで、SLM へのより全体的で堅牢な知識の伝達を保証する、包括的な蒸留プロセスを提唱します。
3 つの NLP ベンチマークの実験により、私たちの方法が蒸留 SLM のパフォーマンスを大幅に向上させ、人間の認知と密接に連携したより小さなモデルの開発に向けた道筋が明らかになったことが実証されています。

要約(オリジナル)

Large language models (LLMs) have achieved remarkable advancements in the field of natural language processing. However, the sheer scale and computational demands of these models present formidable challenges when considering their practical deployment in resource-constrained contexts. While techniques such as chain-of-thought (CoT) distillation have displayed promise in distilling LLMs into small language models (SLMs), there is a risk that distilled SLMs may still carry over flawed reasoning or hallucinations inherited from their LLM counterparts. To address these issues, we propose a twofold methodology: First, we introduce a novel method for distilling the self-evaluation capability inherent in LLMs into SLMs, which aims to mitigate the adverse effects of erroneous reasoning and reduce hallucinations. Second, we advocate for a comprehensive distillation process that incorporates multiple distinct chain-of-thought and self-evaluation paradigms and ensures a more holistic and robust knowledge transfer into SLMs. Experiments on three NLP benchmarks demonstrate that our method significantly improves the performance of distilled SLMs and sheds light on the path towards developing smaller models closely aligned with human cognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google