Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks

要約

ネットワークの複雑さと計算効率は、ディープラーニングの重要な側面になってきています。
スパース ディープ ラーニングは、過度にパラメータ化されたディープ ニューラル ネットワークを削減することで、基礎となるターゲット関数のスパース表現を回復することで、これらの課題に対処します。
具体的には、構造化されたスパース性（ノード スパース性など）を介して圧縮されたディープ ニューラル アーキテクチャは、低レイテンシ推論、より高いデータ スループット、および削減されたエネルギー消費を実現します。
この論文では、ベイジアン ニューラル ネットワークにおけるモデル圧縮のための 2 つの十分に確立された縮小手法、なげなわとホースシューを検討します。
この目的を達成するために、(i) スパイク アンド スラブ グループ投げ縄 (SS-GL)、および (ii) スパイク アンド スラブ グループ ホースシュー (SS-GHS) 事前分布を使用して過剰なノードを系統的に削除する、構造的に疎なベイジアン ニューラル ネットワークを提案します。
、ベルヌーイ変数の連続緩和を含む、計算的に扱いやすい変分推論を開発します。
提案したモデルの変分事後関数の収縮率を、ネットワーク トポロジ、層ごとのノード カーディナリティ、およびネットワークの重みの境界の関数として確立します。
私たちは、予測精度、モデル圧縮、推論レイテンシーにおいて、ベースライン モデルと比較してモデルの競合パフォーマンスを実証しています。

要約(オリジナル)

Network complexity and computational efficiency have become increasingly significant aspects of deep learning. Sparse deep learning addresses these challenges by recovering a sparse representation of the underlying target function by reducing heavily over-parameterized deep neural networks. Specifically, deep neural architectures compressed via structured sparsity (e.g. node sparsity) provide low latency inference, higher data throughput, and reduced energy consumption. In this paper, we explore two well-established shrinkage techniques, Lasso and Horseshoe, for model compression in Bayesian neural networks. To this end, we propose structurally sparse Bayesian neural networks which systematically prune excessive nodes with (i) Spike-and-Slab Group Lasso (SS-GL), and (ii) Spike-and-Slab Group Horseshoe (SS-GHS) priors, and develop computationally tractable variational inference including continuous relaxation of Bernoulli variables. We establish the contraction rates of the variational posterior of our proposed models as a function of the network topology, layer-wise node cardinalities, and bounds on the network weights. We empirically demonstrate the competitive performance of our models compared to the baseline models in prediction accuracy, model compression, and inference latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google