Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!

要約

モデルがソリューションの前に出力を生成する中間トークン生成（ITG）は、推論タスクで言語モデルのパフォーマンスを改善する方法として提案されています。
これらの中間トークンは、「推論の痕跡」または「思考」と呼ばれています。モデルを暗黙的に擬人化し、これらのトークンが挑戦的な問題を解決するときにとる可能性のあるステップに似ていることを暗示しています。この論文では、この擬人化は無害なメタファーではないという証拠を提示します。

要約(オリジナル)

Intermediate token generation (ITG), where a model produces output before the solution, has been proposed as a method to improve the performance of language models on reasoning tasks. These intermediate tokens have been called ‘reasoning traces’ or even ‘thoughts’ — implicitly anthropomorphizing the model, implying these tokens resemble steps a human might take when solving a challenging problem.In this paper, we present evidence that this anthropomorphization isn’t a harmless metaphor, and instead is quite dangerous — it confuses the nature of these models and how to use them effectively, and leads to questionable research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google