An Empirical Comparison of Cost Functions in Inductive Logic Programming

要約

最近の帰納的論理プログラミング（ILP）アプローチは、最適な仮説を学習します。
最適な仮説は、トレーニングデータの特定のコスト関数を最小限に抑えます。
トレーニングエラーの最小化、テキストの複雑さ、または仮説の説明の長さなど、多くのコスト関数があります。
ただし、適切なコスト関数を選択することは重要な問題です。
このギャップに対処するために、制約ベースのILPシステムを拡張して、7つの標準コスト関数の最適な仮説を学習します。
次に、これらの標準コスト関数の下で誘導される最適な仮説の一般化誤差を経験的に比較します。
ゲームプレイ、プログラムの統合、画像推論など、20を超えるドメインと1000のタスクに関する結果は、コスト関数が他のものを一貫して上回ることはないことを示していますが、トレーニングエラーまたは説明の長さを最小限に抑えることは全体的なパフォーマンスが最適です。
特に、我々の結果は、仮説のサイズを最小限に抑えることで、一般化エラーを常に減らすとは限らないことを示しています。

要約(オリジナル)

Recent inductive logic programming (ILP) approaches learn optimal hypotheses. An optimal hypothesis minimises a given cost function on the training data. There are many cost functions, such as minimising training error, textual complexity, or the description length of hypotheses. However, selecting an appropriate cost function remains a key question. To address this gap, we extend a constraint-based ILP system to learn optimal hypotheses for seven standard cost functions. We then empirically compare the generalisation error of optimal hypotheses induced under these standard cost functions. Our results on over 20 domains and 1000 tasks, including game playing, program synthesis, and image reasoning, show that, while no cost function consistently outperforms the others, minimising training error or description length has the best overall performance. Notably, our results indicate that minimising the size of hypotheses does not always reduce generalisation error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google