Thermodynamic Bayesian Inference

要約

複雑な予測モデル (ディープ ニューラル ネットワークなど) を完全にベイジアンで処理すると、厳密な不確実性の定量化と、モデル選択を含む高レベルのタスクの自動化が可能になります。
ただし、多くのパラメータにわたってベイズ事後サンプリングを行うのは困難であるため、ベイズ手法が最も必要とされる場所での使用が妨げられています。
熱力学コンピューティングは、逆行列などの機械学習で使用される演算を高速化するためのパラダイムとして登場し、ノイズの多い物理システムのダイナミクスへのランジュバン方程式のマッピングに基づいています。
したがって、熱力学デバイス上でのランジュバン サンプリング アルゴリズムの実装を検討するのは自然なことです。
この研究では、ランジュバン力学を物理的に実現することによってベイジアン事後からサンプリングする電子アナログ デバイスを提案します。
回路設計は、ガウス-ガウス モデルの事後サンプリングとベイジアン ロジスティック回帰のために与えられ、シミュレーションによって検証されます。
合理的な仮定の下で、これらのモデルのベイジアン事後分布は $\ln(d)$ ($d$ は次元) の時間スケーリングでサンプリングできることが示されています。
ガウス-ガウス モデルの場合、エネルギー コストは $ d \ln(d)$ に比例して表示されます。
これらの結果は、熱力学コンピューティングを使用した高速でエネルギー効率の高いベイジアン推論の可能性を強調しています。

要約(オリジナル)

A fully Bayesian treatment of complicated predictive models (such as deep neural networks) would enable rigorous uncertainty quantification and the automation of higher-level tasks including model selection. However, the intractability of sampling Bayesian posteriors over many parameters inhibits the use of Bayesian methods where they are most needed. Thermodynamic computing has emerged as a paradigm for accelerating operations used in machine learning, such as matrix inversion, and is based on the mapping of Langevin equations to the dynamics of noisy physical systems. Hence, it is natural to consider the implementation of Langevin sampling algorithms on thermodynamic devices. In this work we propose electronic analog devices that sample from Bayesian posteriors by realizing Langevin dynamics physically. Circuit designs are given for sampling the posterior of a Gaussian-Gaussian model and for Bayesian logistic regression, and are validated by simulations. It is shown, under reasonable assumptions, that the Bayesian posteriors for these models can be sampled in time scaling with $\ln(d)$, where $d$ is dimension. For the Gaussian-Gaussian model, the energy cost is shown to scale with $ d \ln(d)$. These results highlight the potential for fast, energy-efficient Bayesian inference using thermodynamic computing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google