Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

要約

人間の認知は、通常、個別の言語トークンを厳密に使用するのではなく、抽象的で流動的な概念を通して考えることを伴います。
ただし、現在の推論モデルは、人間の言語の境界内で推論に制約され、セマンティックスペースの固定点を表す離散トークンエンミングを処理します。
この個別の制約は、標準的なチェーンオブシェア（COT）メソッドがステップごとに1つのトークンのサンプリングに依存することに依存しているため、このような推論モデルの表現力と上位の可能性を制限し、推論パスの不完全な調査を引き起こすことがよくあります。
この作業では、連続コンセプト空間でソフトで抽象的な概念トークンを生成することにより、人間のような「ソフト」な推論をエミュレートするトレーニングなしの方法であるソフト思考を紹介します。
これらのコンセプトトークンは、トークン埋め込みの確率加重された混合物によって作成され、連続概念空間を形成し、従来の個別の境界を超越する滑らかな遷移とより豊富な表現を可能にします。
本質的に、生成された各概念トークンは、関連する離散トークンからの複数の意味をカプセル化し、暗黙的にさまざまな推論パスを検討して、正解に効果的に収束します。
多様な数学とコーディングのベンチマークに関する経験的評価は、ソフト思考の有効性と効率性を一貫して実証し、パス@1の精度を最大2.48ポイント改善し、同時に標準のCOTと比較してトークンの使用量を最大22.4％削減します。
定性分析は、ソフト思考の出力が非常に解釈可能で読みやすいままであり、個別の言語ベースの推論の固有のボトルネックを破るソフト思考の可能性を強調していることをさらに明らかにしています。
コードはhttps://github.com/eric-ai-lab/soft-thinkingで入手できます。

要約(オリジナル)

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like ‘soft’ reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google