Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis

要約

この研究は、論理理論帰納法に関する形式推論エンジンからのフィードバックを使用して大規模言語モデル (LLM) の機能と制限を分析するための新しい体系的な方法論を提示します。
分析は、複雑さの観点から段階的に段階的に行われます。
ルール依存構造により、LLM パフォーマンスに関する特定の推論課題の定量化が可能になります。
LLM と形式的手法の統合は、モデル推論の制御と説明可能性を向上させるための重要な手段として、自然言語処理分野における有望なフロンティアです。
特に、事実とルールの複雑なセットに対する帰納学習は、現在の自己回帰モデルに明示的な記号的根拠が欠けているため、特有の課題を引き起こします。
LLM は正式なシステムで補完できますが、帰納的学習に関して LLM によって提供される特性は十分に理解されておらず、定量化されていません。
経験的な結果は、最大規模の LLM が SOTA 帰納的論理プログラミング (ILP) システムのベースラインに対して競争力のある結果を達成できることを示していますが、LLM にとっては長い述語関係チェーンの追跡が理論の複雑さよりも困難な障害であることも示しています。

要約(オリジナル)

This work presents a novel systematic methodology to analyse the capabilities and limitations of Large Language Models (LLMs) with feedback from a formal inference engine, on logic theory induction. The analysis is complexity-graded w.r.t. rule dependency structure, allowing quantification of specific inference challenges on LLM performance. Integrating LLMs with formal methods is a promising frontier in the Natural Language Processing field, as an important avenue for improving model inference control and explainability. In particular, inductive learning over complex sets of facts and rules, poses unique challenges for current autoregressive models, as they lack explicit symbolic grounding. While they can be complemented by formal systems, the properties delivered by LLMs regarding inductive learning, are not well understood and quantified. Empirical results indicate that the largest LLMs can achieve competitive results against a SOTA Inductive Logic Programming (ILP) system baseline, but also that tracking long predicate relationship chains is a more difficult obstacle than theory complexity for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google