Deep Gaussian Mixture Ensembles

要約

この研究では、ディープ ガウス混合物アンサンブル (DGME) と呼ばれる新しい確率的深層学習技術を導入しています。これにより、認識的不確実性と偶然的不確実性の両方を正確に定量化できます。
データ生成プロセスが混合ガウスのプロセスに従うと仮定することにより、DGME はヘビーテール分布やマルチモーダル分布などの複雑な確率分布を近似することができます。
私たちの貢献には、モデル パラメーターの学習に使用される期待値最大化 (EM) アルゴリズムの導出が含まれます。これにより、標準的なディープ アンサンブルの対数尤度よりもトレーニング データの対数尤度の上限が決まります。
さらに、提案された EM トレーニング手順では、アンサンブルでは一般的に行われない混合重みの学習が可能になります。
私たちの実験結果は、DGME が複雑な予測密度の処理において、最先端の不確実性を定量化する深層学習モデルよりも優れていることを示しています。

要約(オリジナル)

This work introduces a novel probabilistic deep learning technique called deep Gaussian mixture ensembles (DGMEs), which enables accurate quantification of both epistemic and aleatoric uncertainty. By assuming the data generating process follows that of a Gaussian mixture, DGMEs are capable of approximating complex probability distributions, such as heavy-tailed or multimodal distributions. Our contributions include the derivation of an expectation-maximization (EM) algorithm used for learning the model parameters, which results in an upper-bound on the log-likelihood of training data over that of standard deep ensembles. Additionally, the proposed EM training procedure allows for learning of mixture weights, which is not commonly done in ensembles. Our experimental results demonstrate that DGMEs outperform state-of-the-art uncertainty quantifying deep learning models in handling complex predictive densities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google