Learning Minimalistic Tsetlin Machine Clauses with Markov Boundary-Guided Pruning

要約

変数の予測に必要なすべての情報が含まれている場合、変数のセットは確率変数のマルコフ ブランケットになります。
有用な情報を失わずにブランケットを縮小できない場合、それはマルコフ境界と呼ばれます。
境界の外側にあるすべての変数は不要であるため、確率変数のマルコフ境界を特定すると有利です。
したがって、マルコフ境界は最適な特徴セットを提供します。
ただし、データからマルコフ境界を学習することは、2 つの理由から困難です。
1 つ以上の変数がマルコフ境界から削除されると、境界外の変数が情報を提供し始める可能性があります。
逆に、境界内の変数は情報の提供を停止する可能性があります。
各候補変数の真の役割は、マルコフ境界が特定された場合にのみ現れます。
この論文では、タイプ I およびタイプ II フィードバックを補足する新しい Tsetlin Machine (TM) フィードバック スキームを提案します。
このスキームは、新しい有限状態オートマトン、つまりコンテキスト固有の独立オートマトンを導入します。
オートマトンは、どの特徴がターゲットのマルコフ境界の外側にあるかを学習し、学習中にそれらの特徴を TM から取り除くことができます。
私たちは新しいスキームを経験的に調査し、マルコフ境界を見つけるためにコンテキスト固有の独立性をどのように利用できるかを示します。
さらに、収束の理論的分析を提供します。
したがって、私たちのアプローチはベイジアン ネットワーク (BN) の分野と TM を結び付け、TM で生成されたベイジアン知識ベースや TM ベースのベイジアン推論など、推論と学習に関して相乗効果を生み出す可能性があります。

要約(オリジナル)

A set of variables is the Markov blanket of a random variable if it contains all the information needed for predicting the variable. If the blanket cannot be reduced without losing useful information, it is called a Markov boundary. Identifying the Markov boundary of a random variable is advantageous because all variables outside the boundary are superfluous. Hence, the Markov boundary provides an optimal feature set. However, learning the Markov boundary from data is challenging for two reasons. If one or more variables are removed from the Markov boundary, variables outside the boundary may start providing information. Conversely, variables within the boundary may stop providing information. The true role of each candidate variable is only manifesting when the Markov boundary has been identified. In this paper, we propose a new Tsetlin Machine (TM) feedback scheme that supplements Type I and Type II feedback. The scheme introduces a novel Finite State Automaton – a Context-Specific Independence Automaton. The automaton learns which features are outside the Markov boundary of the target, allowing them to be pruned from the TM during learning. We investigate the new scheme empirically, showing how it is capable of exploiting context-specific independence to find Markov boundaries. Further, we provide a theoretical analysis of convergence. Our approach thus connects the field of Bayesian networks (BN) with TMs, potentially opening up for synergies when it comes to inference and learning, including TM-produced Bayesian knowledge bases and TM-based Bayesian inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google