PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations

要約

タイトル：集約されたバイナリアクティブ化ニューラルネットワークの表現確率を用いたPAC-Bayesian学習

要約：

– 非微分可能な活性化関数を持つニューラルネットワークを学習するために、パラメータの確率分布を考慮することは効率的な戦略である。
– 我々は、実数値の重みに対する正規分布を持つバイナリアクティブ化ニューラルネットワークの集約に焦点を当て、確率的ニューラルネットワークの期待出力値を単独の予測子として研究する。
– PAC-Bayesianフレームワークから導かれた最近の解析を活用し、我々はこの集約による期待出力値の厳密な汎化バウンドと学習手順を導き出す。このバウンドは解析式で与えられる。
– 以前の研究では、この組み合わせ的な性質は近似によって回避されていたが、我々は動的プログラミング手法によって深くてでも狭いニューラルネットワークの場合、正確な計算が可能であることを示す。
– これにより、従来のアクティブ化値ではなく、表現確率を伝達する前方伝播を行うバイナリアクティブ化ニューラルネットワークの特異的なバウンド最小化学習アルゴリズムに導かれる。
– 広範なアーキテクチャにスケールする確率的な対応策が提案される。

要約(オリジナル)

Considering a probability distribution over parameters is known as an efficient strategy to learn a neural network with non-differentiable activation functions. We study the expectation of a probabilistic neural network as a predictor by itself, focusing on the aggregation of binary activated neural networks with normal distributions over real-valued weights. Our work leverages a recent analysis derived from the PAC-Bayesian framework that derives tight generalization bounds and learning procedures for the expected output value of such an aggregation, which is given by an analytical expression. While the combinatorial nature of the latter has been circumvented by approximations in previous works, we show that the exact computation remains tractable for deep but narrow neural networks, thanks to a dynamic programming approach. This leads us to a peculiar bound minimization learning algorithm for binary activated neural networks, where the forward pass propagates probabilities over representations instead of activation values. A stochastic counterpart that scales to wide architectures is proposed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI