Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning

要約

大規模な言語モデル（LLMS）は、テキストトークンによって段階的な思考プロセスが明示的に概説されている、考え方（COT）データで訓練されたときに推論と計画に優れています。
ただし、これにより、多くの単語がコア推論情報ではなくテキストの一貫性をサポートする長い入力が発生し、これらの入力を処理すると実質的な計算リソースが消費されます。
この作業では、推論プロセスのハイブリッド表現を提案します。ここでは、VQ-Vaeによって生成された潜在的な離散トークンを使用して、最初の推論ステップを部分的に抽象化し、推論トレースの長さを大幅に削減します。
2つのシナリオでの潜在的な微量の抽象化の使用を調査します。1）キーを発見する迷路の問題のためにゼロからモデルをトレーニングする、2）このハイブリッドデータの微調整LLMSは、目立つ潜在トークンを含む拡張された語彙を含む、論理的および論理的および両方のために
数学的推論の問題。
効果的な学習を促進するために、潜在トークンとテキストトークンをランダムに混合する簡単なトレーニング手順を導入し、新しい潜在トークンへの迅速な適応を可能にします。
私たちのアプローチは、さまざまなベンチマークのベースラインメソッドよりも一貫して優れています。

要約(オリジナル)

Large Language Models (LLMs) excel at reasoning and planning when trained on chainof-thought (CoT) data, where the step-by-step thought process is explicitly outlined by text tokens. However, this results in lengthy inputs where many words support textual coherence rather than core reasoning information, and processing these inputs consumes substantial computation resources. In this work, we propose a hybrid representation of the reasoning process, where we partially abstract away the initial reasoning steps using latent discrete tokens generated by VQ-VAE, significantly reducing the length of reasoning traces. We explore the use of latent trace abstractions in two scenarios: 1) training the model from scratch for the Keys-Finding Maze problem, 2) fine-tuning LLMs on this hybrid data with an extended vocabulary including unseen latent tokens, for both logical and mathematical reasoning problems. To facilitate effective learning, we introduce a simple training procedure that randomly mixes latent and text tokens, which enables fast adaptation to new latent tokens. Our approach consistently outperforms the baselines methods in various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google