Training Large Language Models to Reason in a Continuous Latent Space

要約

大規模言語モデル (LLM) は、「言語空間」での推論に限定されており、通常、複雑な推論問題を解決するための思考連鎖 (CoT) を使用して推論プロセスを表現します。
しかし、言語空間は推論にとって必ずしも最適ではない可能性があると私たちは主張します。
たとえば、ほとんどの単語トークンは主にテキストの一貫性を保つためのものであり、推論には必須ではありませんが、一部の重要なトークンは複雑な計画を必要とし、LLM に大きな課題をもたらします。
自然言語を使用する代わりに、制限のない潜在空間で LLM 推論の可能性を探るために、新しいパラダイム ココナッツ (継続的思考の連鎖) を導入します。
LLM の最後の隠れ状態を推論状​​態 (「継続的思考」と呼ばれる) の表現として利用します。
これを単語トークンにデコードするのではなく、連続空間に直接埋め込む後続の入力として LLM にフィードバックします。
実験では、Coconut がいくつかの推論タスクで LLM を効果的に強化できることが示されています。
この新しい潜在的な推論パラダイムは、出現する高度な推論パターンにつながります。継続的な思考により、複数の代替的な次の推論ステップをエンコードできるため、モデルが単一の決定論的なパスに早まってコミットするのではなく、幅優先探索 (BFS) を実行して問題を解決できるようになります。
CoTみたいに。
Coconut は、計画中に大幅なバックトラッキングを必要とする特定の論理推論タスクにおいて、推論中の思考トークンが少なく、CoT よりも優れたパフォーマンスを発揮します。
これらの発見は、潜在的な推論の可能性を実証し、将来の研究に貴重な洞察を提供します。

要約(オリジナル)

Large language models (LLMs) are restricted to reason in the ‘language space’, where they typically express the reasoning process with a chain-of-thought (CoT) to solve a complex reasoning problem. However, we argue that language space may not always be optimal for reasoning. For example, most word tokens are primarily for textual coherence and not essential for reasoning, while some critical tokens require complex planning and pose huge challenges to LLMs. To explore the potential of LLM reasoning in an unrestricted latent space instead of using natural language, we introduce a new paradigm Coconut (Chain of Continuous Thought). We utilize the last hidden state of the LLM as a representation of the reasoning state (termed ‘continuous thought’). Rather than decoding this into a word token, we feed it back to the LLM as the subsequent input embedding directly in the continuous space. Experiments show that Coconut can effectively augment the LLM on several reasoning tasks. This novel latent reasoning paradigm leads to emergent advanced reasoning patterns: the continuous thought can encode multiple alternative next reasoning steps, allowing the model to perform a breadth-first search (BFS) to solve the problem, rather than prematurely committing to a single deterministic path like CoT. Coconut outperforms CoT in certain logical reasoning tasks that require substantial backtracking during planning, with fewer thinking tokens during inference. These findings demonstrate the promise of latent reasoning and offer valuable insights for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google