Wait, We Don’t Need to ‘Wait’! Removing Thinking Tokens Improves Reasoning Efficiency

要約

大規模な推論モデルの最近の進歩により、複雑で段階的な推論が可能になりましたが、多くの場合、重大な考え直しを導入し、効率を妨げる冗長で冗長な出力をもたらします。
この研究では、「待機」や「うーん」などのトークンによって示される明示的な自己反省が、高度な推論に必要であるかどうかを調べます。
私たちは、推論中にこれらのトークンを抑制することにより明示的な自己反省を無効にするシンプルで効果的なアプローチであるNowaitを提案します。
テキスト、ビジュアル、およびビデオ推論のタスクにわたる10のベンチマークでの広範な実験は、モデルの有用性を妥協することなく、5つのR1スタイルモデルシリーズで、現在の考え方の軌跡の長さを最大27％-51％削減することを示しています。
したがって、Nowaitは、効率的でユーティリティを提供するマルチモーダル推論のためのプラグアンドプレイソリューションを提供します。

要約(オリジナル)

Recent advances in large reasoning models have enabled complex, step-by-step reasoning but often introduce significant overthinking, resulting in verbose and redundant outputs that hinder efficiency. In this study, we examine whether explicit self-reflection, signaled by tokens such as ‘Wait’ and ‘Hmm’, is necessary for advanced reasoning. We propose NoWait, a simple yet effective approach that disables explicit self-reflection by suppressing these tokens during inference. Extensive experiments on ten benchmarks across textual, visual, and video reasoning tasks show that NoWait reduces chain-of-thought trajectory length by up to 27%-51% in five R1-style model series, without compromising model utility. NoWait thus offers a plug-and-play solution for efficient and utility-preserving multimodal reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google