Robustness to corruption in pre-trained Bayesian neural networks

要約

ベイジアン ニューラル ネットワーク (BNN) における破損に対するロバスト性の新しいトレーニング データ依存の可能性である ShiftMatch を開発します。
ShiftMatch は、Izmailov らのトレーニング データ依存の「EmpCov」事前分布に触発されています。
(2021a)、テスト時の空間相関をトレーニング時の空間相関と効率的に一致させます。
重要なことに、ShiftMatch はニューラル ネットワークのトレーニング時間の可能性を変更しないように設計されているため、事前トレーニング済みの BNN から公開されているサンプルを使用できます。
事前トレーニング済みの HMC サンプルを使用すると、ShiftMatch は CIFAR-10-C で大幅なパフォーマンスの向上をもたらし、EmpCov の優先順位よりも優れています (ただし、ShiftMatch は破損したテスト ポイントのミニバッチからの追加情報を使用します)。おそらく、プレーン ディープよりも確実に優れたパフォーマンスを発揮できる最初のベイジアン メソッドです。
アンサンブル。

要約(オリジナル)

We develop ShiftMatch, a new training-data-dependent likelihood for robustness to corruption in Bayesian neural networks (BNNs). ShiftMatch is inspired by the training-data-dependent ‘EmpCov’ priors from Izmailov et al. (2021a), and efficiently matches test-time spatial correlations to those at training time. Critically, ShiftMatch is designed to leave the neural network’s training time likelihood unchanged, allowing it to use publicly available samples from pre-trained BNNs. Using pre-trained HMC samples, ShiftMatch gives strong performance improvements on CIFAR-10-C, outperforms EmpCov priors (though ShiftMatch uses extra information from a minibatch of corrupted test points), and is perhaps the first Bayesian method capable of convincingly outperforming plain deep ensembles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google