Neural Sampling in Hierarchical Exponential-family Energy-based Models

要約

ベイジアン脳理論は、脳が外界を理解するために生成モデルを採用していることを示唆しています。
サンプリングベースの観点では、脳は確率的ニューロン反応のサンプルを通じて事後分布を推測すると仮定します。
さらに、脳はその生成モデルを継続的に更新して、外界の真の分布に近づけます。
この研究では、推論と学習のダイナミクスを捉える階層指数関数族エネルギーベース (HEE) モデルを紹介します。
HEE モデルでは、分配関数を個々の層に分解し、より短い時定数を持つニューロンのグループを活用して、分解された正規化項の勾配をサンプリングします。
これにより、モデルは分配関数の推定と推論を同時に実行できるようになり、従来のエネルギーベース モデル (EBM) で発生する負の位相を回避できます。
その結果、学習プロセスは時間と空間の両方で局所化され、モデルは簡単に収束します。
脳の高速計算に匹敵するように、神経適応が運動量項として機能し、推論プロセスを大幅に加速できることを実証します。
自然画像データセットでは、私たちのモデルは生物学的な視覚システムで観察されるものと同様の表現を示します。
さらに、機械学習コミュニティの場合、私たちのモデルは共同生成または周辺生成を通じて観測値を生成できます。
我々は、限界生成が共同生成を上回り、他の EBM と同等のパフォーマンスを達成することを示します。

要約(オリジナル)

Bayesian brain theory suggests that the brain employs generative models to understand the external world. The sampling-based perspective posits that the brain infers the posterior distribution through samples of stochastic neuronal responses. Additionally, the brain continually updates its generative model to approach the true distribution of the external world. In this study, we introduce the Hierarchical Exponential-family Energy-based (HEE) model, which captures the dynamics of inference and learning. In the HEE model, we decompose the partition function into individual layers and leverage a group of neurons with shorter time constants to sample the gradient of the decomposed normalization term. This allows our model to estimate the partition function and perform inference simultaneously, circumventing the negative phase encountered in conventional energy-based models (EBMs). As a result, the learning process is localized both in time and space, and the model is easy to converge. To match the brain’s rapid computation, we demonstrate that neural adaptation can serve as a momentum term, significantly accelerating the inference process. On natural image datasets, our model exhibits representations akin to those observed in the biological visual system. Furthermore, for the machine learning community, our model can generate observations through joint or marginal generation. We show that marginal generation outperforms joint generation and achieves performance on par with other EBMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google