Embedding First Order Logic into Kernel Machines

要約

本論文では、教師あり・教師なしの例と、一階論理節の集合で表現される背景知識とを、カーネルマシンに統合する一般的な枠組みを提案する。特に、オブジェクトの集合に対して定義された複数の述語が、それらの値の許容される構成に対してFOL制約の集合を強制しながら、例から共同で学習されるマルチタスク学習方式を考える。述語は、入力オブジェクトが表現される特徴空間上で定義され、先験的に既知であるか、適切なカーネルベースの学習器によって近似される。カーネルベースの述語によって計算された出力を扱うことができる連続的な実装にFOL句を変換する一般的なアプローチが示される。学習問題は半教師付きタスクとして定式化され、教師付き例に対する適合損失尺度、正則化項、教師付き例と教師なし例の両方に対する制約を強制するペナルティ項を組み合わせた損失関数の原始最適化を必要とする。残念ながら、ペナルティ項は凸でないため、最適化の妨げになる。しかし、2段階の学習スキーマを用いることで、不十分な解を避けることができる。

要約(オリジナル)

In this paper we propose a general framework to integrate supervised and unsupervised examples with background knowledge expressed by a collection of first-order logic clauses into kernel machines. In particular, we consider a multi-task learning scheme where multiple predicates defined on a set of objects are to be jointly learned from examples, enforcing a set of FOL constraints on the admissible configurations of their values. The predicates are defined on the feature spaces, in which the input objects are represented, and can be either known a priori or approximated by an appropriate kernel-based learner. A general approach is presented to convert the FOL clauses into a continuous implementation that can deal with the outputs computed by the kernel-based predicates. The learning problem is formulated as a semi-supervised task that requires the optimization in the primal of a loss function that combines a fitting loss measure on the supervised examples, a regularization term, and a penalty term that enforces the constraints on both the supervised and unsupervised examples. Unfortunately, the penalty term is not convex and it can hinder the optimization process. However, it is possible to avoid poor solutions by using a two stage learning schema, in which the supervised examples are learned first and then the constraints are enforced.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL