Language Models as Inductive Reasoners

要約

帰納的推論は人間の知能の中核をなす要素である。これまでのコンピュータサイエンスにおける帰納推論の研究では、知識（具体的には事実やルール）の表現として形式言語が用いられてきた。しかし、形式言語は、自然言語のような生の入力を扱うことができない、誤ったラベル付けされたデータに敏感である、あいまいな入力を扱うことができないなど、帰納的推論に体系的な問題を引き起こす可能性がある。このため、我々は、自然言語のファクトから自然言語のルールを導くという帰納推論の新しいパラダイム（タスク）を提案し、このタスクのために、ルールとファクトが自然言語で記述された1.2kのルール-ファクトペアを含むDEERと呼ばれるデータセットを作成する。また、このタスクを評価するための新しい自動メトリクスを提案し、分析する。DEERを用いることで、形式的な言語の代わりに自然言語を知識表現として使用し、事前に訓練された言語モデルを”推論者”として使用する、帰納的推論のための最新のアプローチを研究する。さらに、事前訓練された言語モデルが自然言語の事実から自然言語のルールをどれだけうまく導けるかについて、初めての包括的な分析を行う。また、このタスクのために哲学の文献から洞察を得た新しいフレームワークを提案し、自動評価と人間評価の両方でベースラインを上回ることを実験セクションで示す。セクション7では、帰納推論の将来の展望について述べる。データセットとコードはhttps://github.com/ZonglinY/Inductive_Reasoning。

要約(オリジナル)

Inductive reasoning is a core component of human intelligence. In the past research of inductive reasoning within computer science, formal language is used as representations of knowledge (facts and rules, more specifically). However, formal language can cause systematic problems for inductive reasoning such as disability of handling raw input such as natural language, sensitiveness to mislabeled data, and incapacity to handle ambiguous input. To this end, we propose a new paradigm (task) for inductive reasoning, which is to induce natural language rules from natural language facts, and create a dataset termed DEER containing 1.2k rule-fact pairs for the task, where rules and facts are written in natural language. New automatic metrics are also proposed and analysed for the evaluation of this task. With DEER, we investigate a modern approach for inductive reasoning where we use natural language as representation for knowledge instead of formal language and use pretrained language models as ”reasoners”. Moreover, we provide the first and comprehensive analysis of how well pretrained language models can induce natural language rules from natural language facts. We also propose a new framework drawing insights from philosophy literature for this task, which we show in the experiment section that surpasses baselines in both automatic and human evaluations. We discuss about our future perspectives for inductive reasoning in Section 7. Dataset and code are available at https://github.com/ZonglinY/Inductive_Reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL