Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network

要約

表現ドリフトとは、安定したタスクのパフォーマンスを伴う神経活性化の時間の経過に伴う変化を指します。
脳内や人工ネットワーク内で観察されているにもかかわらず、ドリフトのメカニズムとその影響は完全には理解されていません。
梨状皮質における刺激依存性ドリフトに関する最近の実験結果に動機付けられ、我々は理論とシミュレーションを使用して、2 層線形フィードフォワード ネットワークでこの現象を研究しています。
具体的には、継続的なオンライン学習シナリオで、確率的勾配降下法 (SGD) に固有のノイズによって引き起こされるドリフトを研究します。
学習ダイナミクスを最小損失多様体の法線空間と接線空間に分解することにより、前者は有限分散変動に対応し、後者は多様体上の効果的な拡散プロセスとみなせることを示します。
隠れ層内の刺激表現の変動と拡散係数を、ネットワーク パラメーターと入力分布の関数として解析的に計算します。
さらに、実験と一致して、より頻繁に提示される刺激ではドリフト速度が遅くなることを示します。
全体として、私たちの分析は、生物学的および人工ニューラルネットワークにおけるドリフト現象をより深く理解するための理論的枠組みをもたらします。

要約(オリジナル)

Representational drift refers to over-time changes in neural activation accompanied by a stable task performance. Despite being observed in the brain and in artificial networks, the mechanisms of drift and its implications are not fully understood. Motivated by recent experimental findings of stimulus-dependent drift in the piriform cortex, we use theory and simulations to study this phenomenon in a two-layer linear feedforward network. Specifically, in a continual online learning scenario, we study the drift induced by the noise inherent in the Stochastic Gradient Descent (SGD). By decomposing the learning dynamics into the normal and tangent spaces of the minimum-loss manifold, we show the former corresponds to a finite variance fluctuation, while the latter could be considered as an effective diffusion process on the manifold. We analytically compute the fluctuation and the diffusion coefficients for the stimuli representations in the hidden layer as functions of network parameters and input distribution. Further, consistent with experiments, we show that the drift rate is slower for a more frequently presented stimulus. Overall, our analysis yields a theoretical framework for better understanding of the drift phenomenon in biological and artificial neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google