Thinking Tokens for Language Modeling

要約

56 × 37 はいくらですか?
言語モデルは、このような種類の難しい計算で間違いを犯すことがよくあります。
これは通常、複雑な推論を実行できないことで説明されます。
言語モデルは大規模なトレーニング セットと優れた記憶能力に依存しているため、当然のことながら、複雑な計算を実行する機能は備えていません。
ただし、人間もこの計算をすぐに実行することはできず、解を構築するにはかなりの時間がかかると主張することもできます。
言語モデルの一般化機能を強化するために、また人間の行動と並行して、複雑な問題に遭遇したときにモデルがさらに多くの計算を実行できるようにする特別な「思考トークン」を使用することを提案します。

要約(オリジナル)

How much is 56 times 37? Language models often make mistakes in these types of difficult calculations. This is usually explained by their inability to perform complex reasoning. Since language models rely on large training sets and great memorization capability, naturally they are not equipped to run complex calculations. However, one can argue that humans also cannot perform this calculation immediately and require a considerable amount of time to construct the solution. In order to enhance the generalization capability of language models, and as a parallel to human behavior, we propose to use special ‘thinking tokens’ which allow the model to perform much more calculations whenever a complex problem is encountered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google