Learning Permutation-Invariant Embeddings for Description Logic Concepts

要約

概念学習は、背景知識と入力例から記述論理の概念を学習するものである。目標は、すべての肯定的な例をカバーし、否定的な例をカバーしないような概念を学習することである。この非自明なタスクは、しばしば無限の準順序概念空間内の探索問題として定式化される。この問題に取り組むために、最先端のモデルが成功裏に適用されてきたが、その過剰な探索が非現実的な実行時間をもたらすため、大規模な適用が著しく妨げられてきた。本論文では、この制限を解決する方法を提案する。学習問題をマルチラベル分類問題として再定義し、予め選択された記述論理の概念の$F_1$スコアを予測するように調整された例集合の順列不変埋め込みを学習するニューラル埋め込みモデル(NERO)を提案する。このような概念を予測スコアの降順でランク付けすることにより、少ない検索操作で、つまり過剰な探索をすることなく、ゴールとなりうる概念を検出することができる。重要なことは、上位にランクされた概念は、最先端の記号モデルの検索手順を、最も一般的な概念$top$から始めるのではなく、概念空間の複数の有利な領域から始めるために利用できることである。770の学習問題を含む5つのベンチマークデータセットを用いた実験により、NEROは$F_1$スコア、探索された概念数、および総実行時間の点で最先端モデルを有意に（p値<1%）上回ることが示された。また、本アプローチのオープンソース実装を提供する。

要約(オリジナル)

Concept learning deals with learning description logic concepts from a background knowledge and input examples. The goal is to learn a concept that covers all positive examples, while not covering any negative examples. This non-trivial task is often formulated as a search problem within an infinite quasi-ordered concept space. Although state-of-the-art models have been successfully applied to tackle this problem, their large-scale applications have been severely hindered due to their excessive exploration incurring impractical runtimes. Here, we propose a remedy for this limitation. We reformulate the learning problem as a multi-label classification problem and propose a neural embedding model (NERO) that learns permutation-invariant embeddings for sets of examples tailored towards predicting $F_1$ scores of pre-selected description logic concepts. By ranking such concepts in descending order of predicted scores, a possible goal concept can be detected within few retrieval operations, i.e., no excessive exploration. Importantly, top-ranked concepts can be used to start the search procedure of state-of-the-art symbolic models in multiple advantageous regions of a concept space, rather than starting it in the most general concept $\top$. Our experiments on 5 benchmark datasets with 770 learning problems firmly suggest that NERO significantly (p-value <1%) outperforms the state-of-the-art models in terms of $F_1$ score, the number of explored concepts, and the total runtime. We provide an open-source implementation of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL