From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step

要約

推論タスクに言語モデルを活用する場合、最終出力で高い精度を達成するには、明示的な思考連鎖 (CoT) ステップの生成が不可欠であることがよくあります。
この論文では、これらの CoT ステップを内部化するようにモデルを学習できるかどうかを調査します。
この目的を達成するために、CoT ステップを内部化するためのシンプルかつ効果的な方法を提案します。明示的な CoT 推論用にトレーニングされたモデルから始めて、徐々に中間ステップを削除し、モデルを微調整します。
このプロセスにより、モデルは中間推論ステップを内部化できるため、高いパフォーマンスを維持しながら推論プロセスが簡素化されます。
私たちのアプローチにより、GPT-2 Small モデルは 9 行 9 列の乗算を最大 99% の精度で解くことができますが、標準的なトレーニングでは 4 行 4 列の乗算を超える計算を解くことはできません。
さらに、私たちの方法は、Mistral 7B などのより大きな言語モデルで効果的であることが証明されており、中間ステップを生成することなく GSM8K で 50% 以上の精度を達成しています。

要約(オリジナル)

When leveraging language models for reasoning tasks, generating explicit chain-of-thought (CoT) steps often proves essential for achieving high accuracy in final outputs. In this paper, we investigate if models can be taught to internalize these CoT steps. To this end, we propose a simple yet effective method for internalizing CoT steps: starting with a model trained for explicit CoT reasoning, we gradually remove the intermediate steps and finetune the model. This process allows the model to internalize the intermediate reasoning steps, thus simplifying the reasoning process while maintaining high performance. Our approach enables a GPT-2 Small model to solve 9-by-9 multiplication with up to 99% accuracy, whereas standard training cannot solve beyond 4-by-4 multiplication. Furthermore, our method proves effective on larger language models, such as Mistral 7B, achieving over 50% accuracy on GSM8K without producing any intermediate steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google