Variational Bayesian Bow tie Neural Networks with Shrinkage

要約

機械学習における深いモデルの支配的な役割にもかかわらず、自信過剰の予測、敵対的攻撃に対する感受性、予測の変動の過小評価など、制限は持続します。
ベイジアンパラダイムは、そのような問題を克服するための自然なフレームワークを提供し、深いモデルで不確実性推定のゴールドスタンダードになり、精度の向上と重要なハイパーパラメーターを調整するためのフレームワークも提供します。
ただし、正確なベイジアン推論は困難であり、通常、強い独立性と分布の仮定を課す変分アルゴリズムを含みます。
さらに、既存の方法は、ネットワークのアーキテクチャの選択に敏感です。
標準のフィードフォワード整流ニューラルネットワークの確率的緩和に焦点を当て、ニューラルネットワークの重みにスパースを促進するプライアーを使用して、建築設計に堅牢性を高めることにより、これらの問題に対処します。
条件付き線形モデルとガウスモデルをレンダリングするPolya-Gammaデータ増強トリックのおかげで、分布の仮定と層全体の独立性を回避する高速で近似変分推論アルゴリズムを導き出します。
スケーラビリティをさらに向上させ、マルチモダリティを説明するための適切な戦略が考慮されます。

要約(オリジナル)

Despite the dominant role of deep models in machine learning, limitations persist, including overconfident predictions, susceptibility to adversarial attacks, and underestimation of variability in predictions. The Bayesian paradigm provides a natural framework to overcome such issues and has become the gold standard for uncertainty estimation with deep models, also providing improved accuracy and a framework for tuning critical hyperparameters. However, exact Bayesian inference is challenging, typically involving variational algorithms that impose strong independence and distributional assumptions. Moreover, existing methods are sensitive to the architectural choice of the network. We address these issues by focusing on a stochastic relaxation of the standard feed-forward rectified neural network and using sparsity-promoting priors on the weights of the neural network for increased robustness to architectural design. Thanks to Polya-Gamma data augmentation tricks, which render a conditionally linear and Gaussian model, we derive a fast, approximate variational inference algorithm that avoids distributional assumptions and independence across layers. Suitable strategies to further improve scalability and account for multimodality are considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google