Effective Learning with Node Perturbation in Deep Neural Networks

要約

バックプロパゲーション(BP)は、ディープニューラルネットワークモデルのパラメータを学習する方法として主流であり、最も成功している。しかし、BPは計算上異なる2つのフェーズに依存しており、生物学的学習を満足に説明できず、不連続性やノイズの多いノードダイナミクスを持つネットワークの学習に適用するのは困難である。これに比べ、ノード摂動（NP）は、ネットワークの活性化にノイズを注入し、その後に誘発される損失変化を測定することによって学習することを提案している。NPは2回のフォワードパス（推論）に依存し、ネットワーク微分を利用せず、生物システムにおける学習のモデルとして提案されている。しかし、標準的なNPは、その無誘導ノイズに基づく探索過程により、非常にデータ効率が悪く、不安定である。本研究では、NPの様々な定式化を調査し、方向性微分の概念と関連付けるとともに、レイヤーワイズ入力のデコリレーション機構と組み合わせる。その結果、方向微分と各層における入力の非相関性をより密接に関連付けることで、NP学習の性能が大幅に向上し、パラメータの収束性が大幅に改善され、テストデータにおける性能がBPの性能に近づくことがわかった。さらに、我々の新しい定式化により、ノイズ過程そのものにアクセスできないノイズの多いシステムにも適用できる。

要約(オリジナル)

Backpropagation (BP) is the dominant and most successful method for training parameters of deep neural network models. However, BP relies on two computationally distinct phases, does not provide a satisfactory explanation of biological learning, and can be challenging to apply for training of networks with discontinuities or noisy node dynamics. By comparison, node perturbation (NP) proposes learning by the injection of noise into network activations, and subsequent measurement of the induced loss change. NP relies on two forward (inference) passes, does not make use of network derivatives, and has been proposed as a model for learning in biological systems. However, standard NP is highly data inefficient and unstable due to its unguided noise-based search process. In this work, we investigate different formulations of NP and relate it to the concept of directional derivatives as well as combining it with a decorrelating mechanism for layer-wise inputs. We find that a closer alignment with directional derivatives together with input decorrelation at every layer significantly enhances performance of NP learning with significant improvements in parameter convergence and much higher performance on the test data, approaching that of BP. Furthermore, our novel formulation allows for application to noisy systems in which the noise process itself is inaccessible.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL