Multitask Kernel-based Learning with First-Order Logic Constraints

要約

この論文では、教師ありサンプルと教師なしサンプルを、一次論理節のコレクションによって表現された背景知識とともにカーネル マシンに統合するための一般的なフレームワークを提案します。
特に、オブジェクトのセットに対して定義された複数の述語が例から共同で学習され、それらの値の許容される構成に対して一連の FOL 制約が強制されるマルチタスク学習スキームを検討します。
述語は、入力オブジェクトが表現される特徴空間上で定義され、事前に知ることができるか、適切なカーネルベースの学習器によって近似することができます。
FOL 句を、カーネルベースの述語によって計算された出力を処理できる継続的な実装に変換するための一般的なアプローチが示されています。
学習問題は、教師ありサンプルのフィッティング損失測定、正則化項、および教師ありサンプルと教師サンプルの両方に制約を強制するペナルティ項を組み合わせた損失関数の基本部分での最適化を必要とする半教師ありタスクとして定式化されます。
教師なしの例。
残念ながら、ペナルティ項は凸型ではないため、最適化プロセスを妨げる可能性があります。
ただし、最初に教師付きサンプルを学習し、次に制約を強制する 2 段階の学習スキーマを使用することで、不適切な解決策を回避することができます。

要約(オリジナル)

In this paper we propose a general framework to integrate supervised and unsupervised examples with background knowledge expressed by a collection of first-order logic clauses into kernel machines. In particular, we consider a multi-task learning scheme where multiple predicates defined on a set of objects are to be jointly learned from examples, enforcing a set of FOL constraints on the admissible configurations of their values. The predicates are defined on the feature spaces, in which the input objects are represented, and can be either known a priori or approximated by an appropriate kernel-based learner. A general approach is presented to convert the FOL clauses into a continuous implementation that can deal with the outputs computed by the kernel-based predicates. The learning problem is formulated as a semi-supervised task that requires the optimization in the primal of a loss function that combines a fitting loss measure on the supervised examples, a regularization term, and a penalty term that enforces the constraints on both the supervised and unsupervised examples. Unfortunately, the penalty term is not convex and it can hinder the optimization process. However, it is possible to avoid poor solutions by using a two stage learning schema, in which the supervised examples are learned first and then the constraints are enforced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google