Investigating the generative dynamics of energy-based neural networks

要約

生成ニューラルネットワークは、その学習分布の統計的性質に従ってデータサンプルを生成することができます。この特徴は、自発的な脳活動がトップダウンの生成処理によって部分的にサポートされていることを示唆する現代の計算論的神経科学の仮説を検証するために使用することができます。広く研究されている生成モデルのクラスに、教師なし深層学習アーキテクチャのビルディングブロックとして使用できる制限付きボルツマンマシン（RBM）のものがある。本研究では、RBMの生成ダイナミクスを系統的に探索し、トップダウンサンプリング中に訪れる状態の数を特徴付け、偏った隠れ状態から生成プロセスを開始することによって、訪れるアトラクターの異質性を高めることができるかどうかを調査する。手書き数字という古典的なデータセットで学習させたRBMを考察することで、複数の数字のハイレベルな視覚的特徴をコード化したキメラ状態からトップダウンサンプリングを開始することにより、多様なデータ原型を生成する能力が向上することを示すことができる。また、このモデルは、1つの生成軌道内で、すべての可能な桁の状態間を遷移することができないことがわかり、トップダウンのダイナミクスがエネルギー関数の形状によって大きく制約されていることが示唆された。

要約(オリジナル)

Generative neural networks can produce data samples according to the statistical properties of their training distribution. This feature can be used to test modern computational neuroscience hypotheses suggesting that spontaneous brain activity is partially supported by top-down generative processing. A widely studied class of generative models is that of Restricted Boltzmann Machines (RBMs), which can be used as building blocks for unsupervised deep learning architectures. In this work, we systematically explore the generative dynamics of RBMs, characterizing the number of states visited during top-down sampling and investigating whether the heterogeneity of visited attractors could be increased by starting the generation process from biased hidden states. By considering an RBM trained on a classic dataset of handwritten digits, we show that the capacity to produce diverse data prototypes can be increased by initiating top-down sampling from chimera states, which encode high-level visual features of multiple digits. We also found that the model is not capable of transitioning between all possible digit states within a single generation trajectory, suggesting that the top-down dynamics is heavily constrained by the shape of the energy function.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL