Understanding Domain-Size Generalization in Markov Logic Networks

要約

我々は、マルコフ論理ネットワーク(Markov Logic Networks: MLN)の、サイズの異なる関係構造に対する汎化挙動を研究する。複数の研究により、与えられたドメインで学習されたMLNは、異なるサイズのドメインにまたがっても汎化性が低いことが指摘されている。この挙動は、異なるドメインサイズに渡って使用された場合に、MLNの内部一貫性が欠如することから現れる。本論文では、この矛盾を定量化し、MLNパラメータの分散という形で境界を与える。パラメータの分散はまた、異なるドメインサイズから取られたMLNのマージナル分布間のKLダイバージェンスにも境界を与える。これらの境界を用いて、データの対数尤度を最大化すると同時に、パラメータ分散を最小化することが、領域サイズを超えた汎化の2つの自然な概念に対応することを示す。我々の理論的結果は、指数ランダムグラフや他のマルコフネットワークベースの関係モデルにも適用可能である。最後に、正則化やドメインサイズを考慮したMLNのように、MLNパラメータの分散を減少させることが知られている解決策は、MLNの内部一貫性を増加させることを観察する。我々は、パラメータの分散を制御する方法を変えた4つの異なるデータセットで、我々の結果を実証的に検証し、パラメータの分散を制御することが、より良い汎化につながることを示す。

要約(オリジナル)

We study the generalization behavior of Markov Logic Networks (MLNs) across relational structures of different sizes. Multiple works have noticed that MLNs learned on a given domain generalize poorly across domains of different sizes. This behavior emerges from a lack of internal consistency within an MLN when used across different domain sizes. In this paper, we quantify this inconsistency and bound it in terms of the variance of the MLN parameters. The parameter variance also bounds the KL divergence between an MLN’s marginal distributions taken from different domain sizes. We use these bounds to show that maximizing the data log-likelihood while simultaneously minimizing the parameter variance corresponds to two natural notions of generalization across domain sizes. Our theoretical results apply to Exponential Random Graphs and other Markov network based relational models. Finally, we observe that solutions known to decrease the variance of the MLN parameters, like regularization and Domain-Size Aware MLNs, increase the internal consistency of the MLNs. We empirically verify our results on four different datasets, with different methods to control parameter variance, showing that controlling parameter variance leads to better generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL