Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

要約

思考連鎖 (CoT) デコードにより、言語モデルは、デコード時の生成待ち時間が長くなりますが、推論パフォーマンスを向上させることができます。
最近の提案では、追加の計算を可能にするために推論中に使用される特別なトークンを指す、私たちが導入した用語である熟考トークンのバリアントが検討されています。
これまでの研究では、離散セットの埋め込みから抽出された固定長シーケンスを熟考トークンとして考慮していました。
ここでは、可変シーケンス長の内容豊かで継続的な熟考トークンを生成するフレームワークである圧縮思考連鎖 (CCoT) を提案します。
生成された熟考トークンは、明示的な推論チェーンの圧縮表現であり、私たちの方法は既製のデコーダー言語モデルに適用できます。
実験を通じて、CCoT が内容の濃い表現に対して追加の推論を可能にし、対応する精度の向上を実現する方法を説明します。
さらに、生成される熟考トークンの数を制御することで、推論の改善をオンデマンドで適応的に変更できます。

要約(オリジナル)

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google