Rethinking Thinking Tokens: Understanding Why They Underperform in Practice

要約

Thinking Tokens (TT) は、言語モデルでの推論を容易にする教師なしの方法として提案されています。
ただし、その概念的な魅力にもかかわらず、私たちの調査結果は、TT はパフォーマンスをわずかに向上させ、複数のベンチマークにわたって思考連鎖 (CoT) 推論と比較して一貫してパフォーマンスを下回っていることを示しています。
このパフォーマンスの低下は、TT の単一の埋め込みへの依存に起因し、その結果、学習信号に一貫性がなく、ノイズの多い勾配が発生するという仮説を立てています。
この論文では、この仮説を検証するための包括的な実証分析を提供し、LLM における教師なし推論に関する将来の研究への影響について議論します。

要約(オリジナル)

Thinking Tokens (TT) have been proposed as an unsupervised method to facilitate reasoning in language models. However, despite their conceptual appeal, our findings show that TTs marginally improves performance and consistently underperforms compared to Chain-of-Thought (CoT) reasoning across multiple benchmarks. We hypothesize that this underperformance stems from the reliance on a single embedding for TTs, which results in inconsistent learning signals and introduces noisy gradients. This paper provides a comprehensive empirical analysis to validate this hypothesis and discusses the implications for future research on unsupervised reasoning in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google