Quasi-Bayes meets Vines

要約

最近提案された準ベイジアン (QB) 手法は、再帰によってベイズ予測分布を直接構築することにより、ベイズ事後分布のサンプリングに伴う高価な計算の必要性を排除し、ベイズ計算の新時代を切り開きました。
これは、単変量予測ではデータ効率が高いことが証明されていますが、多次元への拡張は、使用される陰的ノンパラメトリック モデルであるディリクレ過程混合モデルのカーネルに対する事前定義された仮定から生じる条件分解に依存します。
ここでは、予測分布を 1 次元の予測周辺分布と高次元のコピュラに分解することで、スクラーの定理を使用して準ベイジアン予測を高次元に拡張する別の方法を提案します。
したがって、一次元周縁に対して効率的な再帰的 QB 構築を使用し、表現力の高いつるコピュラを使用して依存関係をモデル化します。
さらに、ロバストな発散（エネルギースコアなど）を使用してハイパーパラメータを調整し、私たちが提案する準ベイジアン Vine (QB-Vine) が \emph{解析形式} と収束速度に依存しない完全なノンパラメトリック密度推定器であることを示します。
状況によってはデータの次元。
私たちの実験では、QB-Vine が高次元分布に適しており ($\sim$64)、トレーニングに必要なサンプルが非常に少なく ($\sim$200)、密度推定と解析形式を備えた最先端の手法を上回る性能を示しています。
かなりのマージンでタスクを監視しました。

要約(オリジナル)

Recently proposed quasi-Bayesian (QB) methods initiated a new era in Bayesian computation by directly constructing the Bayesian predictive distribution through recursion, removing the need for expensive computations involved in sampling the Bayesian posterior distribution. This has proved to be data-efficient for univariate predictions, but extensions to multiple dimensions rely on a conditional decomposition resulting from predefined assumptions on the kernel of the Dirichlet Process Mixture Model, which is the implicit nonparametric model used. Here, we propose a different way to extend Quasi-Bayesian prediction to high dimensions through the use of Sklar’s theorem by decomposing the predictive distribution into one-dimensional predictive marginals and a high-dimensional copula. Thus, we use the efficient recursive QB construction for the one-dimensional marginals and model the dependence using highly expressive vine copulas. Further, we tune hyperparameters using robust divergences (eg. energy score) and show that our proposed Quasi-Bayesian Vine (QB-Vine) is a fully non-parametric density estimator with \emph{an analytical form} and convergence rate independent of the dimension of data in some situations. Our experiments illustrate that the QB-Vine is appropriate for high dimensional distributions ($\sim$64), needs very few samples to train ($\sim$200) and outperforms state-of-the-art methods with analytical forms for density estimation and supervised tasks by a considerable margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google