ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT

要約

タイトル：ChatABL：ChatGPTとの自然言語対話による推論エイブダクション学習

要約：この論文では、ChatGPTのような大規模言語モデル（LLM）が、数学的能力を示し、人間の自然言語と一貫性のある有益な推論パラダイムを提供することが最近示されている。しかし、LLMは現在、知覚、言語理解、および推論能力の間の基本的な情報フローの不整合性のために困難を抱えており、自律的にタスクを遂行することが困難である。一方、不完全な事実の逆復号化で明らかになったように、知覚と推論の2つの能力を統合するABL（Abductive Learning）フレームワークは、成功を見てきました。しかし、論理推論規則の意味理解の欠如と複雑なドメイン知識表現への依存が制限要因となっています。本論文では、ChatABLと呼ばれる新しい方法を提案し、LLMをABLフレームワークに統合し、よりユーザーフレンドリーで理解しやすい方法で3つの能力を統一することを目的としています。提案された方法は、LLMsの理解力と論理推論力を利用して、自然言語形式で表現された推論規則を要約および再編成することにより、知覚モジュールのパフォーマンスを最適化するために不完全な論理事実を修正します。同様に、知覚モジュールは、自然言語形式の推論例をLLMsに提供します。筆記体の長さの異なる方程式の復号化タスク、すなわちマヤ暦の復号化の抽象表現は、ChatABLが最先端の方法を超える推論能力を持つことを示すためのテストベッドとして使用されました。ChatABLは、ChatGPTとの自然言語相互作用を通じて、より人間レベルの認知能力に近づく新しいパターンを探索する初めての試みであると言えます。

– 大規模言語モデル（LLMs）は、数学的能力を示し、人間の自然言語と一貫性のある有益な推論パラダイムを提供することができます。
– 知覚、言語理解、そして推論能力の間の基本的な情報フローの不整合性のため、LLMsは、タスクを自律的に遂行することが困難です。
– Abductive Learning（ABL）フレームワークは、知覚と推論の2つの能力を統合することができますが、論理推論規則の意味理解の欠如と複雑なドメイン知識表現への依存が制限要因となっています。
– ChatABLは、LLMsをABLフレームワークに統合し、自然言語形式で表現された推論規則を要約および再編成することにより、知覚モジュールのパフォーマンスを最適化するために不完全な論理事実を修正します。
– ChatABLは、自然言語相互作用を通じて、より人間レベルの認知能力に近づく新しいパターンを探索する初めての試みであり、筆記体の方程式復号化タスクを使用して、最先端の方法を超える推論能力を持つことを示しました。

要約(オリジナル)

Large language models (LLMs) such as ChatGPT have recently demonstrated significant potential in mathematical abilities, providing valuable reasoning paradigm consistent with human natural language. However, LLMs currently have difficulty in bridging perception, language understanding and reasoning capabilities due to incompatibility of the underlying information flow among them, making it challenging to accomplish tasks autonomously. On the other hand, abductive learning (ABL) frameworks for integrating the two abilities of perception and reasoning has seen significant success in inverse decipherment of incomplete facts, but it is limited by the lack of semantic understanding of logical reasoning rules and the dependence on complicated domain knowledge representation. This paper presents a novel method (ChatABL) for integrating LLMs into the ABL framework, aiming at unifying the three abilities in a more user-friendly and understandable manner. The proposed method uses the strengths of LLMs’ understanding and logical reasoning to correct the incomplete logical facts for optimizing the performance of perceptual module, by summarizing and reorganizing reasoning rules represented in natural language format. Similarly, perceptual module provides necessary reasoning examples for LLMs in natural language format. The variable-length handwritten equation deciphering task, an abstract expression of the Mayan calendar decoding, is used as a testbed to demonstrate that ChatABL has reasoning ability beyond most existing state-of-the-art methods, which has been well supported by comparative studies. To our best knowledge, the proposed ChatABL is the first attempt to explore a new pattern for further approaching human-level cognitive ability via natural language interaction with ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI