Why think step-by-step? Reasoning emerges from the locality of experience

要約

タイトル：なぜステップバイステップに考えるのか？推論は経験の局所性から生じる

要約：
– 人間は推論する強力で神秘的な能力を持っている。
– 純粋に心理的なステップを踏んで考えることによって、世界から追加の情報を得ずに、直接的には行えない推論を行うことができる。
– 類似するように、大規模言語モデルは、質問に答える前に中間ステップを生成することによって、思考の連鎖的推論を通じて複雑なタスクをより良く実行できる。
– 本論文では、推論がいつ、なぜ役立つのかを調べるために、言語モデルを使用している。
– 強く影響しあう局所クラスターの変数から成るトレーニングデータの場合に効果的であることを検証する仮説をテストしている。
– 我々の結果は、トレーニングデータの統計的構造がステップバイステップ推論の効果を促進することを示している。

要約(オリジナル)

Humans have a powerful and mysterious capacity to reason. By working through a series of purely mental steps, we can make inferences we would not be capable of making directly — despite that fact that we get no additional data from the world. Similarly, large language models can perform better at complex tasks through chain-of-thought reasoning, where they generate intermediate steps before answering a question. We use language models to investigate the questions of when and why reasoning is helpful, testing the hypothesis that reasoning is effective when training data consisting of local clusters of variables that influence each other strongly. These training conditions enable the chaining of accurate local inferences in order to estimate relationships between variables that were not seen together in training. We train an autoregressive transformer on samples from joint distributions defined by Bayes nets, but only include a subset of all the variables in each sample. We compare language models’ ability to match conditional probabilities both with and without intermediate reasoning steps, finding that intermediate steps help only when the training data is locally structured with respect to dependencies between variables. Furthermore, intermediate variables need to be relevant to the relationship between observed information and target inferences. Our results illustrate how the statistical structure of training data drives the effectiveness of reasoning step by step.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI