SCOTT: Self-Consistent Chain-of-Thought Distillation

要約

タイトル：SCOTT：自己一貫性ある思考連鎖の蒸留
要約：
– 大きな言語モデル（LM）は、ある規模を超えると、思考連鎖（CoT）プロンプトを介して自由形式の理由を生成する能力を持つことがわかっている。
– CoTは、劇的に性能を向上させることができるが、これらの利益は十分に大きなLMに対してのみ観察される。
– さらに、生成された理由がLMの予測と一致するか、決定を正しく説明することができる保証がない。
– 本研究では、数桁も大きな教師モデルから、自己一貫性ある小さなCoTモデルを学習する忠実な知識蒸留法を提案する。
– よりよい監視のために、コントラストのデコーディングにより、大きなLM（教師）からゴールドアンサーをサポートする理由を引き出す。
– 忠実な蒸留を確実にするために、教師が生成した理由を使用して、因果推論目標を持つ学生LMを学習することで、学生が理由を無視して不一致な予測をするのを防ぐ。
– 実験結果は、終了タスクの性能が同等であるにもかかわらず、私たちの方法はベースラインよりも忠実なCoT理由を生成することができることを示している。
– さらなる分析から、このモデルは、決定をするときに理由を尊重し、その理由を磨くことで性能を向上させることができることが示唆されている。

要約(オリジナル)

Large language models (LMs) beyond a certain scale, demonstrate the emergent capability of generating free-text rationales for their predictions via chain-of-thought (CoT) prompting. While CoT can yield dramatically improved performance, such gains are only observed for sufficiently large LMs. Even more concerning, there is little guarantee that the generated rationales are consistent with LM’s predictions or faithfully justify the decisions. In this work, we propose a faithful knowledge distillation method to learn a small, self-consistent CoT model from a teacher model that is orders of magnitude larger. To form better supervision, we elicit rationales supporting the gold answers from a large LM (teacher) by contrastive decoding, which encourages the teacher to generate tokens that become more plausible only when the answer is considered. To ensure faithful distillation, we use the teacher-generated rationales to learn a student LM with a counterfactual reasoning objective, which prevents the student from ignoring the rationales to make inconsistent predictions. Experiments show that, while yielding comparable end-task performance, our method can generate CoT rationales that are more faithful than baselines do. Further analysis suggests that such a model respects the rationales more when making decisions; thus, we can improve its performance more by refining its rationales.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI