Implicit Chain of Thought Reasoning via Knowledge Distillation

要約

推論能力を備えた言語モデルを強化するために、研究者は通常、最終的な答えを導き出す前に一連の思考推論ステップを生成するように言語モデルを促すか微調整します。
ただし、人々は効果的に推論するために自然言語を使用しますが、LM は自然言語ではない中間計算を使用することでより効果的に推論できる可能性があります。
この研究では、別の推論アプローチを検討します。つまり、一連の思考推論ステップを明示的に生成する代わりに、言語モデルの内部隠れ状態を使用して暗黙的な推論を実行します。
暗黙的推論のステップは、明示的な思考連鎖推論でトレーニングされた教師モデルから抽出され、中間の単語を 1 つずつ生成して「水平」に推論を行うのではなく、中間の単語間で「垂直に」推論が行われるように抽出されます。
さまざまなレイヤーの隠れた状態。
私たちは、複数桁の掛け算タスクと小学校の数学の問題データセットで実験を行ったところ、このアプローチにより、明示的な思考連鎖がなければ以前は解決できなかったタスクを、思考連鎖がない場合と同等の速度で解決できることがわかりました。

要約(オリジナル)

To augment language models with the ability to reason, researchers usually prompt or finetune them to produce chain of thought reasoning steps before producing the final answer. However, although people use natural language to reason effectively, it may be that LMs could reason more effectively with some intermediate computation that is not in natural language. In this work, we explore an alternative reasoning approach: instead of explicitly producing the chain of thought reasoning steps, we use the language model’s internal hidden states to perform implicit reasoning. The implicit reasoning steps are distilled from a teacher model trained on explicit chain-of-thought reasoning, and instead of doing reasoning ‘horizontally’ by producing intermediate words one-by-one, we distill it such that the reasoning happens ‘vertically’ among the hidden states in different layers. We conduct experiments on a multi-digit multiplication task and a grade school math problem dataset and find that this approach enables solving tasks previously not solvable without explicit chain-of-thought, at a speed comparable to no chain-of-thought.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google