Do PLMs Know and Understand Ontological Knowledge?

要約

クラス、プロパティ、およびそれらの関係で構成される存在論的知識は、世界の知識に不可欠です。
事前トレーニング済み言語モデル (PLM) がそのような知識を認識し、理解しているかどうかを調査することは重要です。
しかし、既存の PLM 調査研究は主に事実知識に焦点を当てており、存在論的知識の体系的な調査が不足しています。
この論文では、PLM が存在論的な知識を保存し、表面的な形式の丸暗記ではなく、知識の意味論的な理解を持っているかどうかを調査することに焦点を当てます。
PLM がオントロジーの知識を知っているかどうかを調べるために、PLM が以下をどの程度記憶しているかを調査します。(1) エンティティのタイプ。
(2) クラスとプロパティ間の階層関係。たとえば、「人」は「動物」のサブクラスであり、「スポーツ チームのメンバー」は「のメンバー」のサブプロパティです。
(3) プロパティのドメインと範囲の制約。たとえば、「スポーツ チームのメンバー」の主語は「人」、オブジェクトは「スポーツ チーム」である必要があります。
PLM が暗記を超えて存在論的知識を本当に理解しているかどうかをさらに調査するために、PLM が存在論的含意ルールに従って、与えられた知識を使用して論理的推論を確実に実行できるかどうかを包括的に研究します。
私たちの調査結果は、PLM が特定の存在論的知識を記憶し、暗黙的知識を推論に利用できることを示しています。
しかし、暗記と推論の両方のパフォーマンスは完璧とは言えず、知識と理解が不完全であることを示しています。

要約(オリジナル)

Ontological knowledge, which comprises classes and properties and their relationships, is integral to world knowledge. It is significant to explore whether Pretrained Language Models (PLMs) know and understand such knowledge. However, existing PLM-probing studies focus mainly on factual knowledge, lacking a systematic probing of ontological knowledge. In this paper, we focus on probing whether PLMs store ontological knowledge and have a semantic understanding of the knowledge rather than rote memorization of the surface form. To probe whether PLMs know ontological knowledge, we investigate how well PLMs memorize: (1) types of entities; (2) hierarchical relationships among classes and properties, e.g., Person is a subclass of Animal and Member of Sports Team is a subproperty of Member of ; (3) domain and range constraints of properties, e.g., the subject of Member of Sports Team should be a Person and the object should be a Sports Team. To further probe whether PLMs truly understand ontological knowledge beyond memorization, we comprehensively study whether they can reliably perform logical reasoning with given knowledge according to ontological entailment rules. Our probing results show that PLMs can memorize certain ontological knowledge and utilize implicit knowledge in reasoning. However, both the memorizing and reasoning performances are less than perfect, indicating incomplete knowledge and understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google