Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought

要約

大規模言語モデル (LLM) は、一連の思考プロンプト (中間の推論ステップを含む例) が与えられると、驚くべき推論能力を示しています。
既存のベンチマークは、数学的推論などのダウンストリーム タスクの精度を評価することにより、推論能力を間接的に測定します。
ただし、これらのモデルがどのように答えを得るのか、また、生成された一連の思考ではなく単純なヒューリスティックに依存しているかどうかは不明です。
LLM の推論能力の体系的な調査を可能にするために、PrOntoQA と呼ばれる新しい合成質問応答データセットを提示します。各例は、一次論理で表される合成世界モデルから生成されます。
これにより、生成された一連の思考を解析して、正式な分析のための象徴的な証明にすることができます。
InstructGPT と GPT-3 に関する私たちの分析は、LLM が正しい個々の演繹ステップを行う能力が非常に高いことを示しており、架空の文脈であっても、一般的に推論することができます。
ただし、証明の計画には問題があります。複数の有効な推論ステップが利用可能な場合、さまざまなオプションを体系的に調べることができません。

要約(オリジナル)

Large language models (LLMs) have shown remarkable reasoning capabilities given chain-of-thought prompts (examples with intermediate reasoning steps). Existing benchmarks measure reasoning ability indirectly, by evaluating accuracy on downstream tasks such as mathematical reasoning. However, it is unclear how these models obtain the answers and whether they rely on simple heuristics rather than the generated chain-of-thought. To enable systematic exploration of the reasoning ability of LLMs, we present a new synthetic question-answering dataset called PrOntoQA, where each example is generated from a synthetic world model represented in first-order logic. This allows us to parse the generated chain-of-thought into symbolic proofs for formal analysis. Our analysis on InstructGPT and GPT-3 shows that LLMs are quite capable of making correct individual deduction steps, and so are generally capable of reasoning, even in fictional contexts. However, they have difficulty with proof planning: When multiple valid deduction steps are available, they are not able to systematically explore the different options.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google