RLBayes: a Bayesian Network Structure Learning Algorithm via Reinforcement Learning-Based Search Strategy

要約

ベイジアンネットワーク（BN）のスコアベースの構造学習は、BNモデルを学習するための効果的な方法であり、不確実性の下での表現と推論の分野で最も説得力のある確率的グラフィカルモデルのいくつかと見なされます。
ただし、構造学習の検索空間は、変数の数が増加するにつれて非常に明確に増加し、BN構造がNPハードの問題と組み合わせ最適化問題（COP）と同様に成長します。
多くのヒューリスティックな方法の成功にもかかわらず、BNの構造学習の結果は通常、不十分です。
Qラーニングに触発されたこのホワイトペーパーでは、強化学習ベース（RLベース）検索戦略、つまりRLBayesを介したベイジアンネットワーク構造学習アルゴリズムが提案されています。
この方法は、RLのアイデアを借用し、動的に維持されたQテーブルによって学習プロセスを記録およびガイドする傾向があります。
動的なQテーブルを作成および維持することにより、Rlbayesは限られたスペース内の無制限の検索スペースを保存することで、Qラーニングを介してBNの構造学習を実現します。
Rlbayesがグローバルな最適なBN構造に収束できることが理論的に証明されただけでなく、Rlbayesが他のほとんどすべてのヒューリスティック検索アルゴリズムよりも優れた効果があることも実験的に証明されています。

要約(オリジナル)

The score-based structure learning of Bayesian network (BN) is an effective way to learn BN models, which are regarded as some of the most compelling probabilistic graphical models in the field of representation and reasoning under uncertainty. However, the search space of structure learning grows super-exponentially as the number of variables increases, which makes BN structure learning an NP-hard problem, as well as a combination optimization problem (COP). Despite the successes of many heuristic methods on it, the results of the structure learning of BN are usually unsatisfactory. Inspired by Q-learning, in this paper, a Bayesian network structure learning algorithm via reinforcement learning-based (RL-based) search strategy is proposed, namely RLBayes. The method borrows the idea of RL and tends to record and guide the learning process by a dynamically maintained Q-table. By creating and maintaining the dynamic Q-table, RLBayes achieve storing the unlimited search space within limited space, thereby achieving the structure learning of BN via Q-learning. Not only is it theoretically proved that RLBayes can converge to the global optimal BN structure, but also it is experimentally proved that RLBayes has a better effect than almost all other heuristic search algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google