Incorporating Unlabelled Data into Bayesian Neural Networks

要約

従来のベイジアン ニューラル ネットワーク (BNN) は、ラベルのないデータを活用して予測を改善することができません。
この制限を克服するために、ラベルなしのデータを使用して適切な事前予測分布を持つモデルを学習する自己教師ありベイジアン ニューラル ネットワークを導入します。
これは、対照的な事前トレーニング手法を活用し、変分下限を最適化することによって実現されます。
次に、自己教師あり BNN の事前予測分布が、従来の BNN 事前予測分布よりも問題の意味論をよりよく捉えていることを示します。
その結果、私たちのアプローチは、特に低予算体制において、従来の BNN よりも改善された予測パフォーマンスを提供します。

要約(オリジナル)

Conventional Bayesian Neural Networks (BNNs) are unable to leverage unlabelled data to improve their predictions. To overcome this limitation, we introduce Self-Supervised Bayesian Neural Networks, which use unlabelled data to learn models with suitable prior predictive distributions. This is achieved by leveraging contrastive pretraining techniques and optimising a variational lower bound. We then show that the prior predictive distributions of self-supervised BNNs capture problem semantics better than conventional BNN priors. In turn, our approach offers improved predictive performance over conventional BNNs, especially in low-budget regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google