Can Large Language Models Understand DL-Lite Ontologies? An Empirical Study

要約

大規模言語モデル (LLM) は、幅広いタスクの解決において大きな成果を上げています。
最近、記号知識を保存、検索、および推論する LLM の機能が大きな注目を集めており、構造化情報を理解する可能性が示されています。
ただし、LLM が記述ロジック (DL) オントロジーを理解できるかどうかはまだ不明です。
この研究では、構文的および意味論的な側面から 6 つの代表的なタスクをカバーする DL-Lite オントロジーを理解する LLM の能力を実証的に分析します。
広範な実験により、DL-Lite オントロジーを理解する際の LLM の有効性と限界の両方を実証します。
LLM は形式的な構文と、概念と役割のモデル理論的セマンティクスを理解できることがわかりました。
ただし、LLM は、TBox NI の推移性を理解し、大規模な ABox でオントロジーを処理するのに苦労します。
私たちの実験と分析によって LLM についてのさらなる洞察が得られ、より忠実なナレッジ エンジニアリング ソリューションの構築にインスピレーションが得られることを願っています。

要約(オリジナル)

Large language models (LLMs) have shown significant achievements in solving a wide range of tasks. Recently, LLMs’ capability to store, retrieve and infer with symbolic knowledge has drawn a great deal of attention, showing their potential to understand structured information. However, it is not yet known whether LLMs can understand Description Logic (DL) ontologies. In this work, we empirically analyze the LLMs’ capability of understanding DL-Lite ontologies covering 6 representative tasks from syntactic and semantic aspects. With extensive experiments, we demonstrate both the effectiveness and limitations of LLMs in understanding DL-Lite ontologies. We find that LLMs can understand formal syntax and model-theoretic semantics of concepts and roles. However, LLMs struggle with understanding TBox NI transitivity and handling ontologies with large ABoxes. We hope that our experiments and analyses provide more insights into LLMs and inspire to build more faithful knowledge engineering solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google