Understanding the Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation

要約

学習済みの言語モデル(LM)は、明示的な微調整なしに複雑な推論を行うことができる。このような推論能力の出現に、次のトークンを予測する目的での事前学習がどのように寄与しているかを理解するために、我々は、事前学習時に見られた間接的な推論経路を集約することによって、LMが新たな結論を導出していると見なすことができることを提案する。この視点は、知識グラフ(KG)を用いた論理的推論と、数学単語問題(MWP)を用いた数学的推論の2つの重要なケースにおいて有効であることがわかった。より具体的には、推論経路を知識・推論グラフ上のランダムウォーク経路として形式化する。学習されたLM分布の分析から、関連するランダムウォーク経路確率の重み付き和が、LMがどのように推論するかを説明する合理的な方法であることが示唆される。複数のKGデータセットとMWPデータセットを用いた実験と解析により、ランダムウォーク経路に対する学習の効果が明らかになり、ラベル付けされていないランダムウォーク推論経路を補強することで、実世界の多段階推論性能を向上できることが示唆された。

要約(オリジナル)

Pre-trained language models (LMs) are able to perform complex reasoning without explicit fine-tuning. To understand how pre-training with a next-token prediction objective contributes to the emergence of such reasoning capability, we propose that we can view an LM as deriving new conclusions by aggregating indirect reasoning paths seen at pre-training time. We found this perspective effective in two important cases of reasoning: logic reasoning with knowledge graphs (KGs) and math reasoning with math word problems (MWPs). More specifically, we formalize the reasoning paths as random walk paths on the knowledge/reasoning graphs. Analyses of learned LM distributions suggest that a weighted sum of relevant random walk path probabilities is a reasonable way to explain how LMs reason. Experiments and analysis on multiple KG and MWP datasets reveal the effect of training on random walk paths and suggest that augmenting unlabeled random walk reasoning paths can improve real-world multi-step reasoning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL