Incorporating Unlabelled Data into Bayesian Neural Networks

要約

従来のベイジアン ニューラル ネットワーク (BNN) は、ラベルのないデータを活用して予測を改善することができません。
この制限を克服するために、自己教師ありベイジアン ニューラル ネットワークを導入します。これは、ラベルのないデータを使用して、教師なしの事前トレーニング ステップ中に証拠の下限を最大化することで、改善された事前予測分布を学習します。
事前予測分布をよりよく理解するために開発された新しい方法論を使用して、自己教師あり事前予測が従来の BNN 事前予測よりも画像の意味論をよりよく捕捉することを示します。
私たちの経験的評価では、自己教師あり BNN は自己教師あり手法のラベル効率とベイジアン手法の不確実性推定を提供し、特に低から中データ領域では従来の BNN を上回るパフォーマンスを示していることがわかります。

要約(オリジナル)

Conventional Bayesian Neural Networks (BNNs) cannot leverage unlabelled data to improve their predictions. To overcome this limitation, we introduce Self-Supervised Bayesian Neural Networks, which use unlabelled data to learn improved prior predictive distributions by maximising an evidence lower bound during an unsupervised pre-training step. With a novel methodology developed to better understand prior predictive distributions, we then show that self-supervised prior predictives capture image semantics better than conventional BNN priors. In our empirical evaluations, we see that self-supervised BNNs offer the label efficiency of self-supervised methods and the uncertainty estimates of Bayesian methods, particularly outperforming conventional BNNs in low-to-medium data regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google