Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron

要約

脳またはニューラル ネットワークが効率的に学習できるかどうかは、タスクの構造と学習ルールの両方に大きく依存します。
これまでの研究では、生徒と教師の枠組みまたは線形化された出力の仮定の下で、パーセプトロンの比較的単純化されたコンテキストで学習を記述する力学方程式を分析しました。
これらの仮定は理論的な理解を容易にしますが、学習ダイナミクスを決定する際の非線形性と入力データ分布の役割の詳細な理解を妨げ、実際の生物学的または人工ニューラル ネットワークへの理論の適用可能性を制限します。
ここでは、確率過程アプローチを使用して学習を記述する流れ方程式を導き出し、このフレームワークを二値分類を実行する非線形パーセプトロンのケースに適用します。
後続のタスクが学習されるにつれて、学習ルール (教師あり学習または強化学習、SL/RL) と入力データ分布がパーセプトロンの学習曲線と忘却曲線に及ぼす影響を特徴付けます。
特に、入力データのノイズは、SL と RL の下で学習速度に異なる影響を与え、タスクの学習が後続の学習によって上書きされる速さを決定することがわかりました。
さらに、MNIST データセットを使用して実際のデータでアプローチを検証します。
このアプローチは、より複雑な回路アーキテクチャの学習ダイナミクスを分析する方法を示します。

要約(オリジナル)

The ability of a brain or a neural network to efficiently learn depends crucially on both the task structure and the learning rule. Previous works have analyzed the dynamical equations describing learning in the relatively simplified context of the perceptron under assumptions of a student-teacher framework or a linearized output. While these assumptions have facilitated theoretical understanding, they have precluded a detailed understanding of the roles of the nonlinearity and input-data distribution in determining the learning dynamics, limiting the applicability of the theories to real biological or artificial neural networks. Here, we use a stochastic-process approach to derive flow equations describing learning, applying this framework to the case of a nonlinear perceptron performing binary classification. We characterize the effects of the learning rule (supervised or reinforcement learning, SL/RL) and input-data distribution on the perceptron’s learning curve and the forgetting curve as subsequent tasks are learned. In particular, we find that the input-data noise differently affects the learning speed under SL vs. RL, as well as determines how quickly learning of a task is overwritten by subsequent learning. Additionally, we verify our approach with real data using the MNIST dataset. This approach points a way toward analyzing learning dynamics for more-complex circuit architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google