Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement

要約

少数の観察から基礎となる原理を導き出し、新しい状況に一般化する能力 (帰納的推論として知られています) は、人間の知性の中心です。
これまでの研究では、言語モデル (LM) は、研究ベンチマークで目覚ましい成功を収めたにもかかわらず、帰納的推論には不十分なことが多いことが示唆されています。
この研究では、標準的な入出力プロンプトよりも人間の帰納的プロセスをより厳密に反映する手法である、反復的な仮説の洗練を通じて、LM の帰納的推論能力の体系的な研究を実施します。
反復的な仮説の洗練では、テキスト ルールの形式で仮説を提案、選択、および洗練するという 3 つのステップのプロセスが採用されます。
中間ルールを調べることで、LM が驚異的な仮説提案者 (つまり、候補ルールを生成する) であることがわかり、提案されたルールのセットを体系的にフィルタリングできる (タスク固有の) シンボリック インタプリタと組み合わせると、このハイブリッド アプローチは次のことを達成します。
因果関係の誘導、言語に似た指示、象徴的な概念を必要とする帰納的推論ベンチマーク全体で強力な結果が得られます。
ただし、これらは不可解な帰納的推論者としても動作し、ルールの帰納 (つまり、もっともらしいルールの特定) とルールの適用 (つまり、提案されたルールをインスタンスに適用する) の間に顕著なパフォーマンスのギャップがあり、LM が実際にルールを適用できないまま仮説を提案していることを示唆しています。
ルール。
経験的および人間による分析を通じて、LMと人間の帰納的推論プロセス間のいくつかの矛盾をさらに明らかにし、帰納的推論タスクでLMを使用する可能性と限界の両方に光を当てます。

要約(オリジナル)

The ability to derive underlying principles from a handful of observations and then generalize to novel situations — known as inductive reasoning — is central to human intelligence. Prior work suggests that language models (LMs) often fall short on inductive reasoning, despite achieving impressive success on research benchmarks. In this work, we conduct a systematic study of the inductive reasoning capabilities of LMs through iterative hypothesis refinement, a technique that more closely mirrors the human inductive process than standard input-output prompting. Iterative hypothesis refinement employs a three-step process: proposing, selecting, and refining hypotheses in the form of textual rules. By examining the intermediate rules, we observe that LMs are phenomenal hypothesis proposers (i.e., generating candidate rules), and when coupled with a (task-specific) symbolic interpreter that is able to systematically filter the proposed set of rules, this hybrid approach achieves strong results across inductive reasoning benchmarks that require inducing causal relations, language-like instructions, and symbolic concepts. However, they also behave as puzzling inductive reasoners, showing notable performance gaps between rule induction (i.e., identifying plausible rules) and rule application (i.e., applying proposed rules to instances), suggesting that LMs are proposing hypotheses without being able to actually apply the rules. Through empirical and human analyses, we further reveal several discrepancies between the inductive reasoning processes of LMs and humans, shedding light on both the potentials and limitations of using LMs in inductive reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google