Supervised structure learning

要約

この論文は、離散生成モデルの構造学習または発見に関するものです。
ベイジアン モデルの選択とトレーニング データまたはコンテンツの同化に焦点を当てており、データが取り込まれる順序に特に重点を置いています。
次のスキームにおける重要な動きは、予想される自由エネルギーに基づいてモデルの選択に事前分布を置くことです。
この設定では、期待される自由エネルギーは制約された相互情報量に減少し、制約は結果 (つまり、好ましい結果) よりも事前確率から継承されます。
結果として得られたスキームは、まず基本的な考え方を説明するために MNIST データセット上で画像分類を実行するために使用され、次に単純なスプライトベースの視覚的もつれ解除パラダイムとハノイの塔を使用して、ダイナミクスを備えたモデルを発見するというより困難な問題でテストされます (cf
.、ブロックワールド）の問題。
これらの例では、潜在状態の要因構造、およびその特徴的な経路やダイナミクスを回復する (つまり、もつれを解く) ために、生成モデルが独学的に構築されます。

要約(オリジナル)

This paper concerns structure learning or discovery of discrete generative models. It focuses on Bayesian model selection and the assimilation of training data or content, with a special emphasis on the order in which data are ingested. A key move – in the ensuing schemes – is to place priors on the selection of models, based upon expected free energy. In this setting, expected free energy reduces to a constrained mutual information, where the constraints inherit from priors over outcomes (i.e., preferred outcomes). The resulting scheme is first used to perform image classification on the MNIST dataset to illustrate the basic idea, and then tested on a more challenging problem of discovering models with dynamics, using a simple sprite-based visual disentanglement paradigm and the Tower of Hanoi (cf., blocks world) problem. In these examples, generative models are constructed autodidactically to recover (i.e., disentangle) the factorial structure of latent states – and their characteristic paths or dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google