Distribution Learning Meets Graph Structure Sampling

要約

この研究は、オンライン学習フレームワークを使用して、PAC 学習の高次元グラフィカル モデルの問題と、グラフ構造の (効率的な) カウントおよびサンプリングのタスクとの間に新たなつながりを確立します。
対数損失関数を使用して分布 P からの一連のサンプルに指数加重平均 (EWA) またはランダム化加重多数決 (RWM) の予測を適用すると、予測の予測によって発生する平均後悔を使用して予測を制限できることがわかります。
P と予測の間の予想される KL の相違。
EWA および RWM の既知のリグレス限界により、ベイズ ネットを学習するための新しいサンプル複雑さの限界が得られます。
さらに、これらのアルゴリズムは、ベイズ ネットのいくつかの興味深いクラスに対して計算効率を高めることができます。
具体的には、未知の構造のツリーに関する新しいサンプル最適化多項式時間学習アルゴリズムと、特定の弦骨格上のベイズ ネットに関する学習用の最初の多項式サンプルおよび時間アルゴリズムを提供します。

要約(オリジナル)

This work establishes a novel link between the problem of PAC-learning high-dimensional graphical models and the task of (efficient) counting and sampling of graph structures, using an online learning framework. We observe that if we apply the exponentially weighted average (EWA) or randomized weighted majority (RWM) forecasters on a sequence of samples from a distribution P using the log loss function, the average regret incurred by the forecaster’s predictions can be used to bound the expected KL divergence between P and the predictions. Known regret bounds for EWA and RWM then yield new sample complexity bounds for learning Bayes nets. Moreover, these algorithms can be made computationally efficient for several interesting classes of Bayes nets. Specifically, we give a new sample-optimal and polynomial time learning algorithm with respect to trees of unknown structure and the first polynomial sample and time algorithm for learning with respect to Bayes nets over a given chordal skeleton.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google