Extraction Propagation

要約

大規模なニューラル ネットワーク上でバックプロパゲーションをエンドツーエンドで実行するには、勾配の消失や劣化などの困難が伴います。
この論文では、相互作用する多数の小さなニューラル ネットワークで構成される代替アーキテクチャを紹介します。
アーキテクチャ全体に勾配を伝播する代わりに、フォワード パスを介して計算されたベクトル値のメッセージを伝播し、パラメータの更新に使用されます。
現時点ではアーキテクチャを実装していないため、パフォーマンスは推測されます。
ただし、いくつかの理論でそれを裏付けています。
この文書の前のバージョンは「Fusion エンコーダ ネットワーク」というタイトルで、少し異なるアーキテクチャについて詳しく説明していました。

要約(オリジナル)

Running backpropagation end to end on large neural networks is fraught with difficulties like vanishing gradients and degradation. In this paper we present an alternative architecture composed of many small neural networks that interact with one another. Instead of propagating gradients back through the architecture we propagate vector-valued messages computed via forward passes, which are then used to update the parameters. Currently the performance is conjectured as we are yet to implement the architecture. However, we do back it up with some theory. A previous version of this paper was entitled ‘Fusion encoder networks’ and detailed a slightly different architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google