A Probabilistic Approach to Self-Supervised Learning using Cyclical Stochastic Gradient MCMC

要約

この論文では、周期的確率勾配ハミルトニアン モンテカルロ (cSGHMC) を使用した実践的なベイズ自己教師あり学習方法を紹介します。
このフレームワーク内で、自己教師あり学習モデルのパラメーターに事前分布を配置し、cSGHMC を使用して、埋め込み全体にわたる高次元のマルチモーダル事後分布を近似します。
ベイジアン自己教師あり学習は、埋め込みに対する表現力豊かな事後分布を探索することにより、解釈可能な多様な表現を生成します。
これらの表現を周辺化すると、さまざまな下流の分類タスクのパフォーマンス、キャリブレーション、および分布外の検出が大幅に向上します。
4 つの困難なデータセットに対する複数の分類タスクに関する実験結果を提供します。
さらに、SVHN および CIFAR-10 データセットを使用して、分布外検出における提案手法の有効性を実証します。

要約(オリジナル)

In this paper we present a practical Bayesian self-supervised learning method with Cyclical Stochastic Gradient Hamiltonian Monte Carlo (cSGHMC). Within this framework, we place a prior over the parameters of a self-supervised learning model and use cSGHMC to approximate the high dimensional and multimodal posterior distribution over the embeddings. By exploring an expressive posterior over the embeddings, Bayesian self-supervised learning produces interpretable and diverse representations. Marginalizing over these representations yields a significant gain in performance, calibration and out-of-distribution detection on a variety of downstream classification tasks. We provide experimental results on multiple classification tasks on four challenging datasets. Moreover, we demonstrate the effectiveness of the proposed method in out-of-distribution detection using the SVHN and CIFAR-10 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google